板子评估时间和实际运行时间差别很大。

[复制链接] · 发表于 2020-6-9 11:28:24

本帖最后由 xiaqing10 于 2020-6-9 11:59 编辑

环境: TB-RK3399Pro Debian10 python3 rknn1.3.2
模型对比,前者是评估的fps，后者是实际运行的fps
ssd_mobilenet_v1:  77  28
ssd_inception_v2: 59  29
mobilenet_v1:       195  50
vgg(16):                64  43
yolo3_tiny:             147 50

model1(自己搭建的一个小网络):                      140 47
model2(自己搭建的一个大网络,rknn大小50M) 24 17
model3(裁剪model2,rknn大小28M):             38  22
model3_batch2 (model3的batch方式)    18 12

我的理解是，虽然eval的是推断时间，没有数据换入换出，但是理论上差别应该不是很大，如果差别很大，那么这个数据置换就是整个模型的瓶颈。
所以当自己的模型很小，eval很快，但是存在了数据的传输，最多也只能跑50fps(参考mobilenet_v1,yolo3_tiny)。请问这个该怎么优化呢？另补充下，采用batch推断的方式也没有提高速度，参考model3_batch2

只看该作者 · 发表于 2020-6-9 15:13:02

模型对比,前者是评估的fps，后者是实际运行的fps
vgg(16):                64  61
yolo3_tiny:             147 115

model2(自己搭建的一个大网络,rknn大小50M) 24 22
model3(裁剪model2,rknn大小28M):             38  37
model3_batch2 (model3的batch方式)    18 17

更正下，采用了异步模式后确认速度正常。是我没仔细看文档的问题