混合量化为何batch_size设为1也out of memory错误

显示全部楼层 · 发表于 2019-12-13 08:43:38

本帖最后由 jefferyzhang 于 2019-12-13 08:45 编辑

CUDA_ERROR_OUT_OF_MEMORY 跟混合量化啥关系。。。

显示全部楼层 · 发表于 2019-12-16 08:21:32

rknn不会去申请GPU的显存。
我们用的是内存。。。

显示全部楼层 · 发表于 2019-12-16 10:38:46

xsky 发表于 2019-12-16 10:31
在win10上用混合量化也是一样的流程不会用GPU么？这是在win10 上用 toolkit 1.2.1 ...

你想的有点多。
量化和转换都是纯cpu用c写的代码，c写出来代码要能自动用到GPU，还跑了CUDA，那就真是太神奇了。。