Toybrick

标题: RK3588 npu上部署llm [打印本页]

作者: chenbinbin 时间: 2024-4-3 10:06
标题: RK3588 npu上部署llm
现在RK3588的npu上能跑llm模型吗？我在其他博客上看到的是使用上面的Mali G610跑通的llm。

作者: jefferyzhang 时间: 2024-4-3 15:47
可以的，请关注NPU部门的gihutb，有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

目前3588算力只有6T，跑7b以上的大模型还是有点吃力的。
年底会有更大算力NPU出现，尽情期待

作者: chenbinbin 时间: 2024-4-16 19:56

jefferyzhang 发表于 2024-4-3 15:47
可以的，请关注NPU部门的gihutb，有发布llm的转换示例。
https://github.com/airockchip/rknn-llm

最近子在关注你们的llm工作：https://github.com/airockchip/rknn-llm；usr-guide案例中，在RKLLMParam设置了max_context_len=512，是否意味着推理时prefill阶段无论prmopt多长都会pad到512个token长度？

欢迎光临 Toybrick (https://t.rock-chips.com/)