Toybrick

RKNN ToolKit的相关问题汇总

troy

版主

积分
829
发表于 2019-2-18 08:40:29    查看: 6525|回复: 20 | [复制链接]    打印 | 显示全部楼层
本帖最后由 zhangzj 于 2019-5-24 17:57 编辑

目前我们收到了一些关于RKNN ToolKit的问题,在此进行一些汇总和答复

  1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


2、用RK自带的几个demo,模型推理 时,只能连续处理四张图片,到第五张时就卡在那了,没有任何报错
        目前论坛放的rknn-toolkit是比较早的版本,可以先更新成beta版本0.9.8试一下,卸载旧的rknn-toolkit后,安装0.9.8版本重新测试。论坛释放的中文手势识别的例子是基于0.9.7.1内部临时版本,已经包含读取camera图像进行循环推理,可以正常工作。
        rknn-toolkit 0.9.8网盘地址:rknn-toolkit


3、yolo前向测试返回的outputs为[array1 , array2],长度分别为[10140 , 40560],文档中未指明返回值表示意义,请给出说明​

        rknn.inference返回的outputs是一个numpy ndarray的列表(这个文档有说明),每个模型输出数据大小个数都不一样,文档也没法写对指定模型的outputs的意义,用户需要自行查找模型的对应输出和解析规则。


4、发现rknn输出的数据都是噪点数据或者数据不对

        rknn的输出一直都是channel first!对输出做reshape等操作的时候要注意这一点。        注:1.0.0 以前的版本如果模型输出的数据是按”NHWC”排列的,将转成”NCHW”。从v1.0.0版本开始,output 的 shape 将与原始模型保持一致,不再进行”NHWC”到”NCHW”的转换。进行后处理时请注意 channel 所在的位置。


5、Toybrick开发板上用rknn-toolkit转换模型时开启pre_compile=true出错

        arm64版本的rknn-toolkit暂时还不支持pre_compile,如果需要打开pre_compile,建议在开发机上用x86版本rknn-toolkit进行转换。

6、模型转换过程中,numpy 出现错误T ValueError: Object arrays cannot be loaded when allow_pickle=False

        自numpy 1.16.3开始, np.load()的allow_pickle默认为False, 可能导致RKNN报错。需要降低numpy版本,比如1.16.2。
      rknn-toolkit V1.0.0已修复该问题。






回复

使用道具 举报

sunxcp

新手上路

积分
12
发表于 2019-2-22 09:18:25 | 显示全部楼层
新版本在哪?
回复

使用道具 举报

zhangzj

超级版主

积分
609
发表于 2019-2-22 16:13:07 | 显示全部楼层

链接已更新,点击上面的rknn-toolkit 0.9.8网盘地址进去下载
回复

使用道具 举报

sunxcp

新手上路

积分
12
发表于 2019-2-25 11:37:36 | 显示全部楼层
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


这个问题更新版本以后还是没改善
回复

使用道具 举报

elooon

注册会员

积分
139
发表于 2019-2-25 15:13:37 | 显示全部楼层
sunxcp 发表于 2019-2-25 11:37
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c ...

目前最新的版本还是0.9.8,解决这个问题的版本还没发布好像
回复

使用道具 举报

sunxcp

新手上路

积分
12
发表于 2019-2-25 15:40:56 | 显示全部楼层
麻烦楼主尽快更新
回复

使用道具 举报

Hellzealot

中级会员

积分
265
发表于 2019-2-26 12:34:27 | 显示全部楼层
python推理速度很慢的问题解决了吗?
回复

使用道具 举报

troy

版主

积分
829
 楼主| 发表于 2019-2-26 16:39:00 | 显示全部楼层
Hellzealot 发表于 2019-2-26 12:34
python推理速度很慢的问题解决了吗?

推理速度慢的问题,内部版本已经解决,等待后续发布。
回复

使用道具 举报

nevin007

注册会员

积分
127
发表于 2019-3-7 17:51:15 | 显示全部楼层
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非常感谢!
回复

使用道具 举报

771488533

注册会员

积分
174
发表于 2019-3-8 18:24:56 | 显示全部楼层
nevin007 发表于 2019-3-7 17:51
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非 ...

我也遇到了这个问题,不使用量化的话可以同时初始化多个模型,使用量化的话只能初始化一个,使用c++接口
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表