RK3588 npu上部署llm

[复制链接] · 发表于 2024-4-3 10:06:32

现在RK3588的npu上能跑llm模型吗？我在其他博客上看到的是使用上面的Mali G610跑通的llm。

只看该作者 · 发表于 2024-4-3 15:47:22

可以的，请关注NPU部门的gihutb，有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

目前3588算力只有6T，跑7b以上的大模型还是有点吃力的。
年底会有更大算力NPU出现，尽情期待

只看该作者 · 发表于 2024-4-16 19:56:12

jefferyzhang 发表于 2024-4-3 15:47
可以的，请关注NPU部门的gihutb，有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

最近子在关注你们的llm工作：https://github.com/airockchip/rknn-llm；usr-guide案例中，在RKLLMParam设置了max_context_len=512，是否意味着推理时prefill阶段无论prmopt多长都会pad到512个token长度？