TB-RK3399ProDs上典型网络的推理性能是多少？有官方benchmark吗？

[复制链接] · 发表于 2021-4-6 10:54:40

本帖最后由 xh2044 于 2021-4-6 10:57 编辑

最近在使用TB-RK3399ProDs这个型号的产品跑一些典型的分类、检测的CNN网络，但不知道是否达到了正常合理的推理性能。是否有一些官方的数据可参考？有没有哪里公布了官方的benchmark啊？
比如:
   ResNet50：224x224x3
   SqueezeNet：227x227x3
   vgg16：224x224x3
   mobilenet_v2：224x224x3
   inception-v3：299x299x3
   yolov2/v3：416x416x3

非常感谢！

只看该作者 · 发表于 2021-4-6 11:18:14

网络上搜下就有了，有其他机构评测的结果。

只看该作者 · 发表于 2021-4-7 18:03:45

本帖最后由 xh2044 于 2021-4-7 18:06 编辑

我这里跑了下ResNet50和VGG16，均是1batch、默认u8量化，eval_perf的结果为：
ResNet50：68fps
VGG16：78fps
只用了开源的prototxt，权值是RKNN随机生成的。

感觉不正常：
1. vgg怎么会比resnet50还快？
2. 和第三方评测的数据也对不上。

这是怎么回事，正常的吗？
另外，我这里使用的RKNN组件版本：
rknn drv：1.6.0
rknn api / toolkit: 1.4.0
会是版本引起的吗？