关于各类深度学习框架的大模型转换一些问题

[复制链接] · 发表于 2021-10-22 14:10:34

本帖最后由 opencv_rkn 于 2021-10-22 14:16 编辑

目前在某板子上成功安装了rknn-1.6.0，然后转换了一些模型，遇到了一些问题：
1.官方给的一些比较小的模型，比如mobilenet_v1.tflite（16.1M），转换很丝滑；
2.官方给的一些稍微大的模型，比如resnet50v2.onnx(97.6M)，转换的时候经常遇到程序直接被系统kill。看了一下内存占用，才70%就程序就直接被系统kill，然后内存占用直接降低下来了。还未到90%多，怎么就kill？

因为后续有一些较大的模型（100-200M）要部署，基本是pytorch框架的。所以想咨询一下：
1.这类大模型转换，是不是要直接放在PC上？
2.如果要放在PC上，那么应该要涉及到PC和板子的环境一致，除了rknntoolkit等一些包的版本要一致，系统是否要一致？
比如板子(ubuntu20.04) + PC (ubtunu18.04) 是否匹配？板子（Debian10） + PC（ubuntu18.04）是否匹配？

补充：目前板子内存看着是3G的。看之前的帖子，官方基本已经放弃了win10下的rknntoolkit支持？