Toybrick

标题: 开启预编译后生成的rknn文件在开发板上无法推理 [打印本页]

作者: yexiayi    时间: 2021-4-20 11:25
标题: 开启预编译后生成的rknn文件在开发板上无法推理
在Ubuntu环境下将TensorFlow1.11.0版本生成的yolov3 pb文件转换为rknn文件,过程中如果不开启预编译,rknn模型在开发板上能够正常推理,结果正确。但是一旦开启预编译,转换得到的rknn模型在3399pro开发板上加载后无法推理。经过排查,运行过程卡在模型推理rknn.inference(inputs=[img])这步。

代码附上,其中supermarket.py为开发板上的运行代码。supermarket.rknn为已量化未开启预编译模型(能够推理识别,结果正确,附测试图片)。pre_compile.rknn(开启预编译,运行时卡住无法正常推理识别)。pre_compile.py为模型转换代码,yolov3_test_loss=1.0708.pb为原模型文件

链接:https://pan.baidu.com/s/1_jHW4l1_n68qn7_fCz-baQ
提取码:8888


作者: jefferyzhang    时间: 2021-4-20 11:48
1. 什么板子,什么芯片,什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配,是否都为V1.6
作者: yexiayi    时间: 2021-4-21 10:53
jefferyzhang 发表于 2021-4-20 11:48
1. 什么板子,什么芯片,什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配,是否都为V1.6 ...

3399pro debian10 最新的系统1.6的api 1.6的驱动
作者: jefferyzhang    时间: 2021-4-21 10:55
本帖最后由 jefferyzhang 于 2021-4-21 11:00 编辑
yexiayi 发表于 2021-4-21 10:53
3399pro debian10 最新的系统1.6的api 1.6的驱动

不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么?

作者: yexiayi    时间: 2021-4-21 11:54
jefferyzhang 发表于 2021-4-21 10:55
不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么?
...

买的TB-RK3399pro X,就是你们的板子。不开就都正常,但是加载要挺久。
作者: jefferyzhang    时间: 2021-4-21 12:07
yexiayi 发表于 2021-4-21 11:54
买的TB-RK3399pro X,就是你们的板子。不开就都正常,但是加载要挺久。

开了预编译是会卡很久,然后返回错误结果对么?
我去找NPU的人问下
作者: yexiayi    时间: 2021-4-21 13:53
jefferyzhang 发表于 2021-4-21 12:07
开了预编译是会卡很久,然后返回错误结果对么?
我去找NPU的人问下

[attach]1762[/attach]

我在rknn.inference(inputs=[img])前输出1,推理完成后输出2,结果如上图,就卡在模型推理这步,十分钟也出不来结果。你可以下载我的模型和代码跑一下,没开预编译就加载30秒推理是正常的,开了预编译就卡住没结果。

作者: jefferyzhang    时间: 2021-4-21 15:14
yexiayi 发表于 2021-4-21 13:53
我在rknn.inference(inputs=)前输出1,推理完成后输出2,结果如上图,就卡在模型推理这步,十分钟也出 ...

已经把问题报上去了
作者: yexiayi    时间: 2021-4-21 15:23
jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

非常感谢
作者: brunolin    时间: 2021-4-29 16:17
可加載未預編譯模型,再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載和推理
作者: yexiayi    时间: 2021-4-30 17:14
本帖最后由 yexiayi 于 2021-4-30 17:16 编辑
brunolin 发表于 2021-4-29 16:17
可加載未預編譯模型,再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載 ...

谢谢回复,之前尝试过使用过这个方法,还是同样的问题。
作者: yexiayi    时间: 2021-4-30 17:17
brunolin 发表于 2021-4-29 16:17
可加載未預編譯模型,再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載 ...

谢谢回复,之前尝试过这个方法,还是同样的问题。
作者: yexiayi    时间: 昨天 10:00
jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

请问有新进展吗?




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3