do_quantization=False是精度最高的方式吗？

[复制链接] · 发表于 2020-8-22 16:11:30

do_quantization=False是精度最高的方式吗？做量化是不是只能提升速度，精度一定会下降？

只看该作者 · 发表于 2020-8-23 09:23:13

撇开模型训练过程谈精度都是耍流氓。模型精度和模型本身OP设计和训练过程有很大关系，和参数本身宽度关系不大。
如果你只是把现成模型转下，就认为精度是下降的，那是肯定的，因为改变参数宽度一定会造成运算结果和预训练结果不一样，不管你是把原模型FP32改成FP16、U8量化，甚至你把原模型FP32改成FP64，势必都会造成运算结果和原模型不一样。
建议你了解下量化技术，tensorflow的训练量化，和一些新模型降低参数的设计（现在模型发展方向都是朝着降低参数大小并提高精度发展）。

当然我们rknn的混合量化方式，玩的好的是可以在最大程度下保证原模型精度并提高速度的。

只看该作者 · 发表于 2021-1-26 18:19:08

jefferyzhang 发表于 2020-8-23 09:23
撇开模型训练过程谈精度都是耍流氓。模型精度和模型本身OP设计和训练过程有很大关系，和参数本身宽度关系不 ...

不是应该在跟原模型精度差不太多的情况下（精确到小数点后6位），之后再进行量化操作吗

只看该作者 · 发表于 2021-7-28 16:02:30

jefferyzhang 发表于 2020-8-23 09:23
撇开模型训练过程谈精度都是耍流氓。模型精度和模型本身OP设计和训练过程有很大关系，和参数本身宽度关系不 ...

如何计算量化后的RKNN模型的mAP啊