RKNN计算棒 init_runtime 加载速度过慢问题

[复制链接] · 发表于 2019-12-16 13:28:24

我使用的是Retinface模型,其原本是PyTorch版本，我将其转化为onnx格式，然后再转化为rknn格式，虽然可以转化成功，即输出结果是正确的，但是再init_runtime时速度极慢，大约10min。另外，模型在计算棒上的推理速度也没有原来模型快，考虑到硬件性能差距，但即性能下降程度较大，无法全帧率检测（30FPS）。

Retinface使用的是ResNet50作为基网络，约100M。

使用的RKNNToolKit 是1.2.1版本

还有，我使用Tensorflow直接转换一些小模型到 RKNN速度可以，不论是 init_runtime 加载速度，但是模型推理速度，都可以接受。小模型（mobilefacenet，mobilenetV2）大约 6M。

问题原因推测：

1. onnx（pytorch）转 rknn API 的支持问题

2. 模型大小影响init_runtime加载速度，但是也太慢了10min

只看该作者 · 发表于 2019-12-17 08:19:18

pre_compile开了么？