Toybrick

模型量化的性能问题

程子

中级会员

积分
386
发表于 2019-2-18 16:44:40    查看: 2020|回复: 3 | [复制链接]    打印 | 显示全部楼层
本帖最后由 程子 于 2019-2-18 16:56 编辑

在板子上构建RKNN模型,打开了 do_quantization 开关,网络参数大约5M个float32,dataset 使用了24张768*512的三通道8bit图片(Kodak),插入了一条32GB的USB3.0的U盘整盘做SWAP。

构建了一个多小时了,峰值内存使用大约12GB,shell里没有任何输出,CPU load average 15min 约8.5。


这个现象是否正常?
构建RKNN这个操作应该在开发机上做还是在板子上做?
开启量化的情况下构建RKNN模型大约需要多大内存?
开启量化的情况下构建RKNN模型大约耗时多久?
开启量化的情况下dataset应该如何选取?
有什么方法可以加速构建?
pre_compile开关是否影响构建模型的性能?
回复

使用道具 举报

程子

中级会员

积分
386
 楼主| 发表于 2019-2-18 17:19:18 | 显示全部楼层
换双路E5,几秒钟就完成了。
(好像是我犯了个蠢)
回复

使用道具 举报

程子

中级会员

积分
386
 楼主| 发表于 2019-2-18 17:40:21 | 显示全部楼层
用开发机做量化,一开始报错:
  1. T tensorflow.python.framework.errors_impl.InvalidArgumentError: Conv2DCustomBackpropInput: input and out_backprop must have the same batch size input batch: 1 outbackprop batch: 24 batch_dim: 0
复制代码

然后去dataset.txt 里面删掉23行,只保留一行,量化成功。
量化时间约几秒钟,具体没计时(太快了)。
量化后的模型放到板子上跑,速度大约是量化前的16倍,模型结果肉眼可见变差。
回复

使用道具 举报

zhangzj

超级版主

积分
946
发表于 2019-2-19 09:06:30 | 显示全部楼层
量化确实是提升速度,降低精度,会将float数据转成int,会有一定精度损失
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表