Toybrick

标题: RK3588 npu上部署llm [打印本页]

作者: chenbinbin    时间: 2024-4-3 10:06
标题: RK3588 npu上部署llm
现在RK3588的npu上能跑llm模型吗?我在其他博客上看到的是使用上面的Mali G610跑通的llm。
作者: jefferyzhang    时间: 2024-4-3 15:47
可以的,请关注NPU部门的gihutb,有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

目前3588算力只有6T,跑7b以上的大模型还是有点吃力的。
年底会有更大算力NPU出现,尽情期待




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3