模型转换，量化的一些问题

jefferyzhang 发表于 2019-7-23 10:11
量化是个比较大的专题，我个人也在研究，很难给出一个完美的答案。
不过量化图片肯定是越多越好，我有一个 ...

版主您好，我们在量化的时候用了8W+的图，但是在转换的过程，感觉根本没有加载图片去量化，量化函数是True，请问还有可能是哪些问题，或者调哪些函数解决这样的情况？

jefferyzhang 发表于 2019-8-12 15:48
为什么会有这种感觉。8W+都写入dataset.txt里了么

8W+的数据全部写入了，出现这种感觉是因为3分钟就转化完成了C:\Users\yhy\Desktop\11.png

jefferyzhang 发表于 2019-8-12 15:48
为什么会有这种感觉。8W+都写入dataset.txt里了么

rknn.config(channel_mean_value='0 0 0 255', reorder_channel='0 1 2', batch_size=16)

上面的这个batch_size的数量只会被加载一次，也就是只会量化batch_size数量这么多的图片

我看rknn.py文件中有个rknn_batch_size，这个函数是不是把batch_size加载进来的图片分rknn_batch_size次量化完，然后就执行rknn.export_rknn了？

我把batch_size=600，再往上加电脑就崩溃了，16g内存扛不住