如何提高算法fps

显示全部楼层 · 发表于 2020-4-23 16:36:08

1. 意义不大，NPU是分时复用系统，处理一个单位算法复杂度是O，那处理2个就是2O，多线程处理和单线程处理在NPU没有空闲情况下是一样的，除非你NPU出现空闲，那多线程有一定意义。
2. 增大batch意义也不大，同上，分时复用。理论上能提高NPU利用率，但实际上效果跟1个1个送差不多。

显示全部楼层 · 发表于 2020-4-23 17:08:21

rlgl 发表于 2020-4-23 16:47
另，百度了下分时复用系统，请问意思是npu在运行一个模型的时候，就已经把npu的所有资源都用上了的意思吗 ...

你就当GPU看就好了，GPU也是分时复用。只是我们的MACs运算单元没有多到gpu那个级别，多个batch并行处理并不会用到更多计算单元

显示全部楼层 · 发表于 2020-4-23 17:09:29

除非你的模型比如只需要跑30ms，但是你送来运算的间隔是33ms，那这里会空闲3ms NPU不干活。这种情况你多线程就会有意义。

显示全部楼层 · 发表于 2020-4-24 14:27:37

rlgl 发表于 2020-4-24 10:45
另问个与本题无关的问题：如何将模型运行在与pc相连的RK3399ProD上，文档“Rockchip_User_Guide_RKNN_Too ...

TypeC那个口是OTG， mini-usb扁口那个是串口，大的三个usb都是host