caffe mobilenet-v1 量化后预测只输出同一个值

[复制链接] · 发表于 2020-3-14 19:47:57

我训练了一个caffe mobilentv-1 分类网络，量化关闭，预测都正确，开启量化后，不管什么输入，推理到最后就同一个值，我dump了各个layer的数据，发现到dw-512 时数据就完全对不上了，不知道哪里出了问题

只看该作者 · 发表于 2020-3-16 10:28:13

rknn toolkit版本等信息列出来一下。

只看该作者 · 发表于 2020-3-19 10:51:38

leok 发表于 2020-3-16 10:28
rknn toolkit版本等信息列出来一下。

rknn toolkit 1.2.1
直接在docker 模拟器里就是这个现象

只看该作者 · 发表于 2020-4-15 10:32:25

JasonZhu 发表于 2020-3-19 10:51
rknn toolkit 1.2.1
直接在docker 模拟器里就是这个现象

你好，我用torch mobilenetv2，导onnx模型后转rknn，也是不量化时预测正确，开启量化后推理是同一个值，和你的情况一致，请问你后来解决了吗？

只看该作者 · 发表于 2020-4-15 20:39:46

leok 发表于 2020-3-16 10:28
rknn toolkit版本等信息列出来一下。

mobilenetv2，导onnx模型后转rknn，也是不量化时预测正确，开启量化后推理是同一个值，dump量化后的输出也是dw的问题，现在有解决方案吗

只看该作者 · 发表于 2020-4-16 09:51:01

你的toolkit 1.2.1 太老了，试试1.3.0

只看该作者 · 发表于 2020-4-16 09:52:23

tbc_xx 发表于 2020-4-15 20:39
mobilenetv2，导onnx模型后转rknn，也是不量化时预测正确，开启量化后推理是同一个值，dump量化后的输出 ...

这个有很多debug手段的，最常用的就是把每一层结果都dump出来，请看下rknntoolkit的troubleshoot文档。
然后判断哪一层出的问题。

如果是已知问题，那一般来说是最后一层softmax出的错，我们新版本已经解决，还没发布。
但是你们是可以workaround这个问题的，softmax层是可以直接去掉的。