RK1808NPU运行算法比 RK3568NPU慢？

[复制链接] · 发表于 2023-1-10 21:39:21

本帖最后由 xyt2008 于 2023-1-10 21:40 编辑

如题，RK1808NPU运行算法比 RK3568NPU慢。在ubuntu虚拟机下测试，用usb转接板接RK1808计算卡，运行npu_transfer_proxy，运行官方自带mobileNet V1模型 C++demo，循环10次测试平均时间25ms，同样的mobileNet V1模型使用RKNPU2在rk3568上NPU运行，大概是5ms。差距很大，RK1808的算力比RK3568的大很多，怎么反而慢这么多？是要怎么用才能更快？

只看该作者 · 发表于 2023-1-11 09:29:41

RK35系列NPU是2代的，1808是第一代NPU，架构不一样，没有可比性。
1808模型性能优化请参看文档有性能优化章节。

只看该作者 · 发表于 2023-1-11 11:13:49

好的，感谢解惑。我以为直接比算力，算力大应该就快些。这样看来2代NPU是快些。
以后的sdk和对应硬件支持都会维持现在的情况吗？1808会不会出新的硬件升级二代NPU？
目前的sdk和toolkit支持情况如下：
模型转换工具：
RKNN-Toolkit : RK1808/RK1806/RK3399Pro/RV1109/RV1126
RKNN-Toolkit2 : RK3566/RK3568/RK3588/RV1103/RV1106
模型推理SDK：RKNPU : RK1808/RK1806/RV1109/RV1126
RK3399PRO_NPU : RK3399pro
RKNPU2 : RK3566/RK3568/RK3588/RV1103/RV1106

还有一个问题咨询您一下：
rk1808使用连板推理时，启动一个 npu_transfer_proxy 的进程；然后调用NPU API进行推理；现在测试实际速度和理论速度差别过大；
文档上说板端推理比连板推理快。rk1808在板端推理是不是就不能用被动模式了？变成主动模式了？rk1808主动模式会快于被动模式吗？

RK1808NPU运行算法比 RK3568NPU慢？

本帖子中包含更多资源