关于量化的效果

[复制链接] · 发表于 2019-11-30 21:13:33

对于 rknn-toolkit 自带的例子 mobilenet-ssd，我生成了量化和不量化的两个 rknn 模型（将 rknn.build(do_quantization=True, dataset='./dataset.txt') 改为 rknn.build(do_quantization=False)）。得到的结果基本一样（61 fps 左右），请问这个结果是否有问题？量化不是应该会快一点？

--> Init runtime environment
D RKNNAPI: ==============================================
D RKNNAPI: RKNN VERSION:
D RKNNAPI: API: 1.2.0 (1190a71 build: 2019-09-25 12:39:26)
D RKNNAPI: DRV: 0.9.9 (8509ec7 build: 2019-08-05 10:54:34)
D RKNNAPI: ==============================================
done
--> Running model
done
inference result:  [array([[ 1.1861349 ,  0.7674992 , -1.8140881 , ..., -0.06977263,
      -2.093179  , -0.34886315]], dtype=float32), array([[  2.3712468,  -5.1871037,  -8.447569 , ..., -10.967019 ,
      -10.522409 , -11.263425 ]], dtype=float32)]
========================================================================
                           Performance
========================================================================
Total Time(us): 16353
FPS: 61.15
========================================================================

只看该作者 · 发表于 2019-11-30 21:23:35

你再把自己代码检查下吧，不量化不可能达到61帧的。。。。。

只看该作者 · 发表于 2019-11-30 21:25:39

不好意思，应该是我搞错了。在 rk1808 上重新跑的，不量化是 5.6 fps，量化是 48 fps。我在 rk3399pro 上应该跑错了。