Toybrick

RKNN计算棒 init_runtime 加载速度过慢问题

281963347

新手上路

积分
24
楼主
发表于 2019-12-16 13:28:24    查看: 7112|回复: 1 | [复制链接]    打印 | 只看该作者
                       
我使用的是Retinface模型,其原本是PyTorch版本,我将其转化为onnx格式,然后再转化为rknn格式,虽然可以转化成功,即输出结果是正确的,但是再init_runtime时速度极慢,大约10min。另外,模型在计算棒上的推理速度也没有原来模型快,考虑到硬件性能差距,但即性能下降程度较大,无法全帧率检测(30FPS)。
Retinface使用的是ResNet50作为基网络,约100M
使用的RKNNToolKit 1.2.1版本

还有,我使用Tensorflow直接转换一些小模型到 RKNN速度可以,不论是 init_runtime 加载速度,但是模型推理速度,都可以接受。小模型(mobilefacenetmobilenetV2)大约 6M
问题原因推测:
1. onnxpytorch)转 rknn  API 的支持问题
2. 模型大小影响init_runtime加载速度,但是也太慢了10min

回复

使用道具 举报

jefferyzhang

版主

积分
13578
沙发
发表于 2019-12-17 08:19:18 | 只看该作者
pre_compile开了么?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表