Toybrick

标题: RKNN ToolKit的相关问题汇总 [打印本页]

作者: troy    时间: 2019-2-18 08:40
标题: RKNN ToolKit的相关问题汇总
本帖最后由 zhangzj 于 2019-5-24 17:57 编辑

目前我们收到了一些关于RKNN ToolKit的问题,在此进行一些汇总和答复

  1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


2、用RK自带的几个demo,模型推理 时,只能连续处理四张图片,到第五张时就卡在那了,没有任何报错
        目前论坛放的rknn-toolkit是比较早的版本,可以先更新成beta版本0.9.8试一下,卸载旧的rknn-toolkit后,安装0.9.8版本重新测试。论坛释放的中文手势识别的例子是基于0.9.7.1内部临时版本,已经包含读取camera图像进行循环推理,可以正常工作。
        rknn-toolkit 0.9.8网盘地址:rknn-toolkit


3、yolo前向测试返回的outputs为[array1 , array2],长度分别为[10140 , 40560],文档中未指明返回值表示意义,请给出说明​

        rknn.inference返回的outputs是一个numpy ndarray的列表(这个文档有说明),每个模型输出数据大小个数都不一样,文档也没法写对指定模型的outputs的意义,用户需要自行查找模型的对应输出和解析规则。


4、发现rknn输出的数据都是噪点数据或者数据不对

        rknn的输出一直都是channel first!对输出做reshape等操作的时候要注意这一点。        注:1.0.0 以前的版本如果模型输出的数据是按”NHWC”排列的,将转成”NCHW”。从v1.0.0版本开始,output 的 shape 将与原始模型保持一致,不再进行”NHWC”到”NCHW”的转换。进行后处理时请注意 channel 所在的位置。


5、Toybrick开发板上用rknn-toolkit转换模型时开启pre_compile=true出错

        arm64版本的rknn-toolkit暂时还不支持pre_compile,如果需要打开pre_compile,建议在开发机上用x86版本rknn-toolkit进行转换。

6、模型转换过程中,numpy 出现错误T ValueError: Object arrays cannot be loaded when allow_pickle=False

        自numpy 1.16.3开始, np.load()的allow_pickle默认为False, 可能导致RKNN报错。需要降低numpy版本,比如1.16.2。
      rknn-toolkit V1.0.0已修复该问题。







作者: sunxcp    时间: 2019-2-22 09:18
新版本在哪?
作者: zhangzj    时间: 2019-2-22 16:13
sunxcp 发表于 2019-2-22 09:18
新版本在哪?

链接已更新,点击上面的rknn-toolkit 0.9.8网盘地址进去下载
作者: sunxcp    时间: 2019-2-25 11:37
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c的运行时间差异问题我们还在定位,下版本更新解决


这个问题更新版本以后还是没改善

作者: elooon    时间: 2019-2-25 15:13
sunxcp 发表于 2019-2-25 11:37
1、在3399pro上进行前向推理测试速度慢,经测试mobile-ssd有的图片耗时在0.5秒以上
        这个python与c ...

目前最新的版本还是0.9.8,解决这个问题的版本还没发布好像
作者: sunxcp    时间: 2019-2-25 15:40
麻烦楼主尽快更新
作者: Hellzealot    时间: 2019-2-26 12:34
python推理速度很慢的问题解决了吗?
作者: troy    时间: 2019-2-26 16:39
Hellzealot 发表于 2019-2-26 12:34
python推理速度很慢的问题解决了吗?

推理速度慢的问题,内部版本已经解决,等待后续发布。
作者: nevin007    时间: 2019-3-7 17:51
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非常感谢!
作者: 771488533    时间: 2019-3-8 18:24
nevin007 发表于 2019-3-7 17:51
你好,我使用C++_API发现不支持初始化多个模型(Python_API支持初始化多模型),能否关注一下这个问题?非 ...

我也遇到了这个问题,不使用量化的话可以同时初始化多个模型,使用量化的话只能初始化一个,使用c++接口
作者: nevin007    时间: 2019-3-12 10:27
771488533 发表于 2019-3-8 18:24
我也遇到了这个问题,不使用量化的话可以同时初始化多个模型,使用量化的话只能初始化一个,使用c++接口 ...

你好,我又测试了一下,发现C++API支持初始化多个量化模型(如mobilenet, mssd, MTCNN中的RNet, Onet等),但对于少数模型(如PNet这种全卷积网络)仅支持非量化的模型...
作者: hjf515    时间: 2019-3-15 15:09
请问这个问题有进展么。
要产品化,绝大多数使用C++开发代码
作者: magi803    时间: 2019-5-15 19:06
ONNX转RKNN,超过4个维度就报错。这个限制太那个了吧,我自己设计的好多模型中途都有4个以上的维度变换.请问有什么解决方案吗
作者: alanz2019    时间: 2019-5-24 10:58
rknn-toolkit 1.0版支持的模型列表在哪里?
作者: zzw_awen    时间: 2019-7-31 17:13
请问rknn支持的layers列表在哪里能看到?RKNN-Toolkit 使用指南里,没有找到支持的layers列表和支持的算子列表。
如果有自定义的算子或layers,我怎么才能知道是否支持呢?
谢谢。
作者: qm-k    时间: 2019-8-1 14:45
在电脑上预编译失败呢


--> config model
done
--> Loading model
done
--> Building model
W The RKNN Model generated can not run on simulator when pre_compile is True.
W Adjust min from [-1.0670577] to 0.0 for relu relu4_4_CPM_27
W [op_optimize:410]Concat copy 2 tensor.
W [op_optimize:410]Concat copy 2 tensor.
W [op_optimize:410]Concat copy 2 tensor.
W [op_optimize:410]Concat copy 2 tensor.
E Catch exception when building RKNN model!
T Traceback (most recent call last):
T   File "rknn/api/rknn_base.py", line 515, in rknn.api.rknn_base.RKNNBase.build
T   File "rknn/api/rknn_base.py", line 439, in rknn.api.rknn_base.RKNNBase._build
T   File "rknn/base/ovxconfiggenerator.py", line 187, in rknn.base.ovxconfiggenerator.generate_vx_config_from_files
T   File "rknn/base/RKNNlib/app/exporter/ovxlib_case/casegenerator.py", line 380, in rknn.base.RKNNlib.app.exporter.ovxlib_case.casegenerator.CaseGenerator.generate
T   File "rknn/base/RKNNlib/app/exporter/ovxlib_case/casegenerator.py", line 365, in rknn.base.RKNNlib.app.exporter.ovxlib_case.casegenerator.CaseGenerator._gen_special_case
T   File "rknn/base/RKNNlib/app/exporter/ovxlib_case/casegenerator.py", line 222, in rknn.base.RKNNlib.app.exporter.ovxlib_case.casegenerator.CaseGenerator._nbg_finishing_work
T   File "rknn/base/RKNNlib/app/exporter/ovxlib_case/casegenerator.py", line 204, in rknn.base.RKNNlib.app.exporter.ovxlib_case.casegenerator.CaseGenerator._fetch_nb
T Exception: Generate pre-compile model failed.
Build model failed!




欢迎光临 Toybrick (http://t.rock-chips.com/) Powered by Discuz! X3.3