模型量化问题，量化后的模型比没有量化的模型还大

[复制链接] · 发表于 2020-8-27 18:47:44

本帖最后由 darkhorse 于 2020-9-10 10:29 编辑

我在模型量化时候遇到一个问题，量化后的模型比没有量化的模型运行还慢，这是什么原因呢？

原始模型是caffe模型，文件大小是3449KB。

在caffe模型转换成rknn格式时，当配置do_quantization=True时
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_T.rknn，运行时间29901ms

在caffe模型转换成rknn格式时，当配置do_quantization=False时
ret = rknn.build(do_quantization=False, dataset='./dataset.txt')
转换出来的模型是mssd1920x1080_F.rknn，运行时间342ms

怎么开启量化后得到的模型还变慢了呢？

只看该作者 · 发表于 2020-8-28 14:52:14

RKNN问题欢迎进群交流：http://t.rock-chips.com/forum.ph ... &extra=page%3D1

只看该作者 · 发表于 2020-9-3 09:55:56

本帖最后由 darkhorse 于 2020-9-3 13:57 编辑

jefferyzhang 发表于 2020-8-28 14:52
RKNN问题欢迎进群交流：http://t.rock-chips.com/forum.php?mod=viewthread&tid=1967&extra=page%3D1 ...

这个问题目前还存在，群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

这个帖子标注是已解答，应该不影响后面的跟踪吧，还是重新提交帖子？

只看该作者 · 发表于 2020-9-10 18:00:40

NPU部门答复：

1. 模型并没有变化，float模型是1.8M，量化模型900多k
2. 量化后运行时间过长的问题，需要更新驱动，新版本驱动将在下周发布。

只看该作者 · 发表于 2020-9-10 18:05:46

darkhorse 发表于 2020-9-3 09:55
这个问题目前还存在，群里的开发人员说需要在redmine提个issue。
能否帮忙申请一个redmine账号。

redmine账户需要联系业务和FAE开通。
内部问题会跟进，等下一个版本才会更新，急着要的请联系我们公司业务走业务流程。

只看该作者 · 发表于 2020-9-15 16:33:35

更新后的驱动是否已经发布
如果发布了我应该在哪里去取，怎么更新呢？
如果没有发布，预计好久发布呢？

只看该作者 · 发表于 2020-9-15 16:38:11

darkhorse 发表于 2020-9-15 16:33
更新后的驱动是否已经发布
如果发布了我应该在哪里去取，怎么更新呢？
如果没有发布，预计好久发布呢？ ...

已经发布，直接apt update/upgrade即可获取，详细请看置顶帖教程

只看该作者 · 发表于 2020-9-15 18:21:45

本帖最后由 darkhorse 于 2020-9-15 18:22 编辑

api是已经升级到1.4.0，但是驱动还是没有更新，仍然是1.3.2
或者是不是我使用的方式不对

只看该作者 · 发表于 2020-9-24 15:25:09

请问一下最新的驱动是好久才更新呢？

只看该作者 · 发表于 2020-9-27 16:59:49

请更新下最新的驱动（>=1.4.0）试下。