Toybrick

标题: 模型量化问题,量化后的模型比没有量化的模型还大 [打印本页]

作者: darkhorse    时间: 2020-8-27 18:47
标题: 模型量化问题,量化后的模型比没有量化的模型还大
本帖最后由 darkhorse 于 2020-9-10 10:29 编辑

我在模型量化时候遇到一个问题,量化后的模型比没有量化的模型运行还慢,这是什么原因呢?

原始模型是caffe模型,文件大小是3449KB。

在caffe模型转换成rknn格式时,当配置do_quantization=True时
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_T.rknn,运行时间29901ms

在caffe模型转换成rknn格式时,当配置do_quantization=False时
ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_F.rknn,运行时间342ms

怎么开启量化后得到的模型还变慢了呢?


作者: jefferyzhang    时间: 2020-8-28 14:52

RKNN问题欢迎进群交流:http://t.rock-chips.com/forum.ph ... &extra=page%3D1
作者: darkhorse    时间: 2020-9-3 09:55
本帖最后由 darkhorse 于 2020-9-3 13:57 编辑
jefferyzhang 发表于 2020-8-28 14:52
RKNN问题欢迎进群交流:http://t.rock-chips.com/forum.php?mod=viewthread&tid=1967&extra=page%3D1 ...

这个问题目前还存在,群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

这个帖子标注是已解答,应该不影响后面的跟踪吧,还是重新提交帖子?


作者: jefferyzhang    时间: 2020-9-10 18:00
NPU部门答复:

1. 模型并没有变化,float模型是1.8M,量化模型900多k
2. 量化后运行时间过长的问题,需要更新驱动,新版本驱动将在下周发布。
作者: jefferyzhang    时间: 2020-9-10 18:05
darkhorse 发表于 2020-9-3 09:55
这个问题目前还存在,群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

redmine账户需要联系业务和FAE开通。
内部问题会跟进,等下一个版本才会更新,急着要的请联系我们公司业务走业务流程。

作者: darkhorse    时间: 2020-9-15 16:33
更新后的驱动是否已经发布
如果发布了我应该在哪里去取,怎么更新呢?
如果没有发布,预计好久发布呢?
作者: jefferyzhang    时间: 2020-9-15 16:38
darkhorse 发表于 2020-9-15 16:33
更新后的驱动是否已经发布
如果发布了我应该在哪里去取,怎么更新呢?
如果没有发布,预计好久发布呢? ...

已经发布,直接apt update/upgrade即可获取,详细请看置顶帖教程
作者: darkhorse    时间: 2020-9-15 18:21
本帖最后由 darkhorse 于 2020-9-15 18:22 编辑

api是已经升级到1.4.0,但是驱动还是没有更新,仍然是1.3.2
或者是不是我使用的方式不对






欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3