rknn误差累计，rknn算子不支持问题

显示全部楼层 · 发表于 2023-7-20 15:53:29

用文档的方法测试余弦误差，算子不支持转换时候就会报错。
量化精度问题需要系统分析，
最简单做法就是某一层精度差就直接混合量化那层不量化，
最佳做法就是直接做训练量化，用量化后的模型转rknn

显示全部楼层 · 发表于 2023-7-21 11:05:33

殷艳坤发表于 2023-7-21 10:47
我现在转rknn是非量化的转的，但是训练模型的时候不是fp16混合精度训练的,是不是因为这个原因造成的精度 ...

不会有这么大误差，你这个已经不是叫误差了，是直接算错了