Toybrick

模型量化问题,量化后的模型比没有量化的模型还大

darkhorse

新手上路

积分
49
发表于 2020-8-27 18:47:44    查看: 195|回复: 7 | [复制链接]    打印 | 显示全部楼层
本帖最后由 darkhorse 于 2020-9-10 10:29 编辑

我在模型量化时候遇到一个问题,量化后的模型比没有量化的模型运行还慢,这是什么原因呢?

原始模型是caffe模型,文件大小是3449KB。

在caffe模型转换成rknn格式时,当配置do_quantization=True时
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_T.rknn,运行时间29901ms

在caffe模型转换成rknn格式时,当配置do_quantization=False时
ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_F.rknn,运行时间342ms

怎么开启量化后得到的模型还变慢了呢?

回复

使用道具 举报

jefferyzhang

超级版主

积分
5864
发表于 2020-8-28 14:52:14 | 显示全部楼层
回复

使用道具 举报

darkhorse

新手上路

积分
49
 楼主| 发表于 2020-9-3 09:55:56 | 显示全部楼层
本帖最后由 darkhorse 于 2020-9-3 13:57 编辑

这个问题目前还存在,群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

这个帖子标注是已解答,应该不影响后面的跟踪吧,还是重新提交帖子?

回复

使用道具 举报

jefferyzhang

超级版主

积分
5864
发表于 2020-9-10 18:00:40 | 显示全部楼层
NPU部门答复:

1. 模型并没有变化,float模型是1.8M,量化模型900多k
2. 量化后运行时间过长的问题,需要更新驱动,新版本驱动将在下周发布。
回复

使用道具 举报

jefferyzhang

超级版主

积分
5864
发表于 2020-9-10 18:05:46 | 显示全部楼层
darkhorse 发表于 2020-9-3 09:55
这个问题目前还存在,群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

redmine账户需要联系业务和FAE开通。
内部问题会跟进,等下一个版本才会更新,急着要的请联系我们公司业务走业务流程。
回复

使用道具 举报

darkhorse

新手上路

积分
49
 楼主| 发表于 7 天前 | 显示全部楼层
更新后的驱动是否已经发布
如果发布了我应该在哪里去取,怎么更新呢?
如果没有发布,预计好久发布呢?
回复

使用道具 举报

jefferyzhang

超级版主

积分
5864
发表于 7 天前 | 显示全部楼层
darkhorse 发表于 2020-9-15 16:33
更新后的驱动是否已经发布
如果发布了我应该在哪里去取,怎么更新呢?
如果没有发布,预计好久发布呢? ...

已经发布,直接apt update/upgrade即可获取,详细请看置顶帖教程
回复

使用道具 举报

darkhorse

新手上路

积分
49
 楼主| 发表于 7 天前 | 显示全部楼层
本帖最后由 darkhorse 于 2020-9-15 18:22 编辑

api是已经升级到1.4.0,但是驱动还是没有更新,仍然是1.3.2
或者是不是我使用的方式不对

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表