resnet中add op量化后损失变大。

[复制链接] · 发表于 2020-7-9 14:17:34

backbone采用的resnet50，不量化的模型的输出和pytorch很接近，大约是千分位的差别。
而量化后差别很大，采用混合量化发现是resnet中的add的问题。
这个add在rknn内部是卷积替代的么，才会导致量化差别这么大。并且我在转模型的时候指定 optimization_level=0，还是一样在这层出现很大误差。

只看该作者 · 发表于 2020-7-9 15:46:36

建议你了解下 “量化” 这个技术。如果只是想无脑模型转rknn就想达到原模型精度又能达到量化速度，那是不可能实现的。
提高精度很多方法：
1. rknn提供的混合量化了解下。
2.tensorflow的训练量化了解下

只看该作者 · 发表于 2020-7-9 16:14:05

jefferyzhang 发表于 2020-7-9 15:46
建议你了解下 “量化” 这个技术。如果只是想无脑模型转rknn就想达到原模型精度又能达到量化速度，那是不可 ...

有没有计划出一套工具，类似海思Ruyistudio中Vector Compare的功能。比较量化前后featuremap的差异

只看该作者 · 发表于 2020-7-9 16:32:30

lbq0111 发表于 2020-7-9 16:14
有没有计划出一套工具，类似海思Ruyistudio中Vector Compare的功能。比较量化前后featuremap的差异 ...

rknntoolkit 可视化工具了解下