Toybrick

标题: RKNN ToolKit的相关问题汇总 [打印本页]

作者: troy    时间: 2019-2-18 08:40
标题: RKNN ToolKit的相关问题汇总
本帖最后由 zhangzj 于 2019-5-24 17:57 编辑

目前我们收到了一些关于RKNN ToolKit的问题,在此进行一些汇总和答复

  1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


2、用RK自带的几个demo,模型推理 时,只能连续处理四张图片,到第五张时就卡在那了,没有任何报错
        目前论坛放的rknn-toolkit是比较早的版本,可以先更新成beta版本0.9.8试一下,卸载旧的rknn-toolkit后,安装0.9.8版本重新测试。论坛释放的中文手势识别的例子是基于0.9.7.1内部临时版本,已经包含读取camera图像进行循环推理,可以正常工作。
        rknn-toolkit 0.9.8网盘地址:rknn-toolkit


3、yolo前向测试返回的outputs为[array1 , array2],长度分别为[10140 , 40560],文档中未指明返回值表示意义,请给出说明​

        rknn.inference返回的outputs是一个numpy ndarray的列表(这个文档有说明),每个模型输出数据大小个数都不一样,文档也没法写对指定模型的outputs的意义,用户需要自行查找模型的对应输出和解析规则。


4、发现rknn输出的数据都是噪点数据或者数据不对

        rknn的输出一直都是channel first!对输出做reshape等操作的时候要注意这一点。        注:1.0.0 以前的版本如果模型输出的数据是按”NHWC”排列的,将转成”NCHW”。从v1.0.0版本开始,output 的 shape 将与原始模型保持一致,不再进行”NHWC”到”NCHW”的转换。进行后处理时请注意 channel 所在的位置。


5、Toybrick开发板上用rknn-toolkit转换模型时开启pre_compile=true出错

        arm64版本的rknn-toolkit暂时还不支持pre_compile,如果需要打开pre_compile,建议在开发机上用x86版本rknn-toolkit进行转换。

6、模型转换过程中,numpy 出现错误T ValueError: Object arrays cannot be loaded when allow_pickle=False

        自numpy 1.16.3开始, np.load()的allow_pickle默认为False, 可能导致RKNN报错。需要降低numpy版本,比如1.16.2。
      rknn-toolkit V1.0.0已修复该问题。







作者: sunxcp    时间: 2019-2-22 09:18
新版本在哪?
作者: zhangzj    时间: 2019-2-22 16:13
sunxcp 发表于 2019-2-22 09:18
新版本在哪?

链接已更新,点击上面的rknn-toolkit 0.9.8网盘地址进去下载
作者: sunxcp    时间: 2019-2-25 11:37
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


这个问题更新版本以后还是没改善

作者: elooon    时间: 2019-2-25 15:13
sunxcp 发表于 2019-2-25 11:37
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c ...

目前最新的版本还是0.9.8,解决这个问题的版本还没发布好像
作者: sunxcp    时间: 2019-2-25 15:40
麻烦楼主尽快更新
作者: Hellzealot    时间: 2019-2-26 12:34
python推理速度很慢的问题解决了吗?
作者: troy    时间: 2019-2-26 16:39
Hellzealot 发表于 2019-2-26 12:34
python推理速度很慢的问题解决了吗?

推理速度慢的问题,内部版本已经解决,等待后续发布。
作者: nevin007    时间: 2019-3-7 17:51
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非常感谢!
作者: 771488533    时间: 2019-3-8 18:24
nevin007 发表于 2019-3-7 17:51
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非 ...

我也遇到了这个问题,不使用量化的话可以同时初始化多个模型,使用量化的话只能初始化一个,使用c++接口
作者: nevin007    时间: 2019-3-12 10:27
771488533 发表于 2019-3-8 18:24
我也遇到了这个问题,不使用量化的话可以同时初始化多个模型,使用量化的话只能初始化一个,使用c++接口 ...

你好,我又测试了一下,发现C++API支持初始化多个量化模型(如mobilenet, mssd, MTCNN中的RNet, Onet等),但对于少数模型(如PNet这种全卷积网络)仅支持非量化的模型...
作者: hjf515    时间: 2019-3-15 15:09
请问这个问题有进展么。
要产品化,绝大多数使用C++开发代码
作者: magi803    时间: 2019-5-15 19:06
ONNX转RKNN,超过4个维度就报错。这个限制太那个了吧,我自己设计的好多模型中途都有4个以上的维度变换.请问有什么解决方案吗
作者: alanz2019    时间: 昨天 10:58
rknn-toolkit 1.0版支持的模型列表在哪里?




欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3