Toybrick

标题: 模型量化的性能问题 [打印本页]

作者: 程子    时间: 2019-2-18 16:44
标题: 模型量化的性能问题
本帖最后由 程子 于 2019-2-18 16:56 编辑

在板子上构建RKNN模型,打开了 do_quantization 开关,网络参数大约5M个float32,dataset 使用了24张768*512的三通道8bit图片(Kodak),插入了一条32GB的USB3.0的U盘整盘做SWAP。

构建了一个多小时了,峰值内存使用大约12GB,shell里没有任何输出,CPU load average 15min 约8.5。


这个现象是否正常?
构建RKNN这个操作应该在开发机上做还是在板子上做?
开启量化的情况下构建RKNN模型大约需要多大内存?
开启量化的情况下构建RKNN模型大约耗时多久?
开启量化的情况下dataset应该如何选取?
有什么方法可以加速构建?
pre_compile开关是否影响构建模型的性能?

作者: 程子    时间: 2019-2-18 17:19
换双路E5,几秒钟就完成了。
(好像是我犯了个蠢)
作者: 程子    时间: 2019-2-18 17:40
用开发机做量化,一开始报错:
  1. T tensorflow.python.framework.errors_impl.InvalidArgumentError: Conv2DCustomBackpropInput: input and out_backprop must have the same batch size input batch: 1 outbackprop batch: 24 batch_dim: 0
复制代码

然后去dataset.txt 里面删掉23行,只保留一行,量化成功。
量化时间约几秒钟,具体没计时(太快了)。
量化后的模型放到板子上跑,速度大约是量化前的16倍,模型结果肉眼可见变差。
作者: zhangzj    时间: 2019-2-19 09:06
量化确实是提升速度,降低精度,会将float数据转成int,会有一定精度损失




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3