新闻中心

产品发布 | 公司动态 | 行业资讯 | 活动报道

瑞芯微RK1820:把“大模型”塞进每一块开发板

2025.10.27

当AI大模型不再依赖云端,当算力下沉到每一个嵌入式设备上——瑞芯微RK1820协处理器,正在让“端侧智能”成为现实。瑞芯微算力协处理器RK1820,是瑞芯微针对旗舰芯片平台RK3576/RK3588等SoC平台配套的算力处理器。凭借其先进的封装技术、高性能低功耗、超低延迟响应和多模态能力,为端侧部署大模型提供了强有力的支持。


RK1820协处理器:让端侧也能“跑大模型”

RK1820是瑞芯微面向AI时代推出的算力协处理器,采用先进的3D堆叠封装技术,集成高带宽嵌入式片内DRAM(2.5GB/5GB版本)。

●模型支持:可部署高达3B/7B参数量的端侧大模型(最高16K上下文长度)

●性能表现:端侧生成速率超100 tokens/s,端到端延迟低至0.1s

●多模态处理:支持文字、语音、图像、视频等输入,兼容CNN模型

●主控互联:支持PCIe2.0 / USB3.0接口,可与RK3576、RK3588等主控无缝协同

●软件生态:兼容主流模型格式(HuggingFace、PyTorch、GGUF),API接口参考OpenAI标准,支持C/Python调用

凭借“高带宽+低功耗”的设计,RK1820系列打破了端侧部署大模型的能效与延迟限制,为AI应用带来“云端级响应”的体验。


3D堆叠封装技术(TSV):3D堆叠封装把多颗芯片垂直互连,像盖高楼一样“叠”成一颗,用极短的硅中介孔替代传统走线,可把带宽提升10倍、功耗降低30%、面积缩小50%,同时实现异构集成(逻辑+存储+射频+感测),在同样封装体积内塞下更多晶体管,为AI算力、存储密度和移动终端续航同时“加料”却不“加体积”。


3B模型(30亿参数级大语言模型)是一种轻量级但能力全面的生成式AI,定位在“手机端也能跑得动”与“性能接近大模型”之间,专门用来在本地或边缘设备上完成高质量文本理解与生成任务。它最擅长处理:日常对话、内容摘要、短文写作、代码补全、多轮问答、中英翻译以及结构化信息抽取,可在离线、低延迟、低成本场景下提供接近百亿级模型的体验。

7B模型(70亿参数级大语言模型),用来在本地服务器、工业PC或高端笔电上完成复杂文本理解与生成任务。擅长:长文档摘要、专业问答、代码生成与调试、多轮逻辑推理、结构化数据抽取、中英互译及轻量多模态融合,可在不上云的前提下给出接近云端大模型的深度能力,兼顾隐私、成本与效果。

RK1820性能数据


三大优势:让AI协处理器更具竞争力

兼容主控生态,支持主流框架

RK1820协处理器通过 PCIe 2.0 / USB 3.0与主控SoC高速互联,无需修改底层BSP、无需重新烧录系统镜像,即可在现有RK3568、RK3576、RK3588平台上直接运行。

主控SoC → PCIe/USB → RK1820协处理器 → AI推理引擎


RK1820协处理器支持 Huggingface、PyTorch、GGUF、C/Python API 等主流框架,开发者可用熟悉的工具链完成模型部署与性能调优。


分区算力架构

主控SoC运行操作系统、UI交互和I/O管理;协处理器独立运行大模型推理、语义理解、图像识别等任务。两者之间通过高速总线和共享缓存进行数据交互,任务隔离和功耗管理更高效。


独立迭代,AI能力升级不等主控

RK182x采用“解耦式算力架构”:主控SoC与协处理器独立设计、独立演进。这意味着AI算力模块可以单独升级,而无需更换整机或主控芯片。瑞芯微规划的下一代协处理器 RK1860 系列 将内置 >64TOPS NPU,支持最高13B规模模型,带宽将突破1TB/s,定位于高端算力市场,填补国内高端AI协处理器空白。



RK1820协处理器的落地场景

教育平板:离线“AI老师”,不联网也能答题讲解。 教育平板内置RK182x协处理器,部署Qwen 3B/7B模型,可在离线状态下完成口语评测、作文批改、知识讲解等任务。

车载座舱:离线语音大模型,车内对话不再“延迟”。车载主机使用RK3588主控 + RK182x协处理器架构, 支持10路以上并发语音代理(Voice Agent),实现车内多角色语音交互。

机器人:机器人对语义理解、情绪交互要求高,但功耗受限。 RK182x提供端侧推理,运行Qwen2.5-3B情感模型,实现语音对话、情绪识别、图像理解。 

企业级AI终端:模块化升级,让存量设备焕发“新智”。部署大量老旧RK3568/RK3399设备,算力不足以运行AI模型。 通过USB3.0或PCIe接口外挂RK182x协处理器,即可快速获得百token/s级AI算力,实现语音识别、图像检索、文本生成等功能。


top

电话咨询

扫码咨询

扫码咨询