Toybrick

Toybrick»开源社区 › 技术论坛 › 人工智能 › RK3588 npu上部署llm

RK3588 npu上部署llm

jefferyzhang

版主

积分
13007
楼主
发表于 2024-4-3 15:47:22 | 显示全部楼层
可以的，请关注NPU部门的gihutb，有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

目前3588算力只有6T，跑7b以上的大模型还是有点吃力的。
年底会有更大算力NPU出现，尽情期待
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick

瑞芯微电子股份有限公司所有       闽ICP备19006074号-1      闽公网安备 35010202001061号

快速回复 返回顶部 返回列表