Toybrick

标题: 模型量化的性能问题 [打印本页]

作者: 程子 时间: 2019-2-18 16:44
标题: 模型量化的性能问题
本帖最后由程子于 2019-2-18 16:56 编辑

在板子上构建RKNN模型，打开了 do_quantization 开关，网络参数大约5M个float32，dataset 使用了24张768*512的三通道8bit图片（Kodak），插入了一条32GB的USB3.0的U盘整盘做SWAP。

构建了一个多小时了，峰值内存使用大约12GB，shell里没有任何输出，CPU load average 15min 约8.5。

这个现象是否正常？
构建RKNN这个操作应该在开发机上做还是在板子上做？
开启量化的情况下构建RKNN模型大约需要多大内存？
开启量化的情况下构建RKNN模型大约耗时多久？
开启量化的情况下dataset应该如何选取？
有什么方法可以加速构建？
pre_compile开关是否影响构建模型的性能？

作者: 程子 时间: 2019-2-18 17:19
换双路E5，几秒钟就完成了。
（好像是我犯了个蠢）

作者: 程子 时间: 2019-2-18 17:40
用开发机做量化，一开始报错：

T tensorflow.python.framework.errors_impl.InvalidArgumentError: Conv2DCustomBackpropInput: input and out_backprop must have the same batch size input batch: 1 outbackprop batch: 24 batch_dim: 0
复制代码

然后去dataset.txt 里面删掉23行，只保留一行，量化成功。
量化时间约几秒钟，具体没计时（太快了）。
量化后的模型放到板子上跑，速度大约是量化前的16倍，模型结果肉眼可见变差。

作者: zhangzj 时间: 2019-2-19 09:06
量化确实是提升速度，降低精度，会将float数据转成int，会有一定精度损失

欢迎光临 Toybrick (https://t.rock-chips.com/)