Toybrick

RK3588 npu上部署llm

chenbinbin

新手上路

积分
17
发表于 2024-4-3 10:06:32    查看: 319|回复: 1 | [复制链接]    打印 | 显示全部楼层
现在RK3588的npu上能跑llm模型吗?我在其他博客上看到的是使用上面的Mali G610跑通的llm。
回复

使用道具 举报

jefferyzhang

版主

积分
12928
发表于 2024-4-3 15:47:22 | 显示全部楼层
可以的,请关注NPU部门的gihutb,有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

目前3588算力只有6T,跑7b以上的大模型还是有点吃力的。
年底会有更大算力NPU出现,尽情期待
回复

使用道具 举报

chenbinbin

新手上路

积分
17
 楼主| 发表于 5 天前 | 显示全部楼层
jefferyzhang 发表于 2024-4-3 15:47
可以的,请关注NPU部门的gihutb,有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

最近子在关注你们的llm工作:https://github.com/airockchip/rknn-llm;usr-guide案例中,在RKLLMParam设置了max_context_len=512,是否意味着推理时prefill阶段无论prmopt多长都会pad到512个token长度?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表