Toybrick

RK1808NPU运行算法比 RK3568NPU慢?

xyt2008

注册会员

积分
119
楼主
发表于 2023-1-10 21:39:21    查看: 2456|回复: 2 | [复制链接]    打印 | 只看该作者
本帖最后由 xyt2008 于 2023-1-10 21:40 编辑

如题,RK1808NPU运行算法比 RK3568NPU慢。在ubuntu虚拟机下测试,用usb转接板接RK1808计算卡,运行npu_transfer_proxy,运行官方自带mobileNet V1模型 C++demo,循环10次测试平均时间25ms,同样的mobileNet V1模型使用RKNPU2在rk3568上NPU运行,大概是5ms。差距很大,RK1808的算力比RK3568的大很多,怎么反而慢这么多?是要怎么用才能更快?
回复

使用道具 举报

jefferyzhang

版主

积分
12935
沙发
发表于 2023-1-11 09:29:41 | 只看该作者
RK35系列NPU是2代的,1808是第一代NPU,架构不一样,没有可比性。
1808模型性能优化请参看文档有性能优化章节。
回复

使用道具 举报

xyt2008

注册会员

积分
119
板凳
 楼主| 发表于 2023-1-11 11:13:49 | 只看该作者
好的,感谢解惑。我以为直接比算力,算力大应该就快些。这样看来2代NPU是快些。
以后的sdk和对应硬件支持都会维持现在的情况吗?1808会不会出新的硬件升级二代NPU?
目前的sdk和toolkit支持情况如下:
模型转换工具:
RKNN-Toolkit : RK1808/RK1806/RK3399Pro/RV1109/RV1126
RKNN-Toolkit2 : RK3566/RK3568/RK3588/RV1103/RV1106
模型推理SDK:RKNPU : RK1808/RK1806/RV1109/RV1126
RK3399PRO_NPU : RK3399pro
RKNPU2 : RK3566/RK3568/RK3588/RV1103/RV1106

还有一个问题咨询您一下:
rk1808使用连板推理时,启动一个 npu_transfer_proxy 的进程;然后调用NPU API进行推理;现在测试实际速度和理论速度差别过大;
文档上说板端推理连板推理快。rk1808在板端推理是不是就不能用被动模式了?变成主动模式了?rk1808主动模式会快于被动模式吗?



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表