分割模型 精度下降太多了

rknn默认是fp16，
pytorch、tf默认是fp32，
这里会有一点精度差异。最终你都得用混合量化来提高精度，建议你直接走混合量化开始做

Zen 发表于 2020-6-11 09:22
fp16和fp32的差异很难差这么大的，nvdia的新一代安培架构都通过fp16来实现加速了。感觉问题像是哪层卷积的 ...

你第一层的图看起来还是很正常的呀，这层的图为啥没线？
如果方便的话，你可以把原始模型、转换脚本、测试脚本一起打包发云盘给我们，
我发给NPU部门调试

Zen 发表于 2020-6-11 09:22
fp16和fp32的差异很难差这么大的，nvdia的新一代安培架构都通过fp16来实现加速了。感觉问题像是哪层卷积的 ...

混合量化可以把某些层直接搞成fp32的，你直接在fp16调的话就把所有结果打印出来对比欧式距离，不要看这个后处理后的图，没啥意义。对比输出才知道结果是不是对的。

调试技巧的话就是把所有层dump出来，对比原始tf模型输出，看下哪层精度降低很多，或者算错了。具体看下我们trouble shoot那份文档

Zen 发表于 2020-6-11 09:42
一楼的图 最左边是rknn的.
三楼的图 中间的那张是pytorch半精度和全精度图的差值（取绝对值）

你有redmine啊，那当然直接提交redmine咯，你们提交的bug比我们内部提交有用。。。
我们内部提交的bug他们都不一定有空看，客户提交的bug他们是必须要解决的。。