Toybrick

标题: 开启预编译后生成的rknn文件在开发板上无法推理 [打印本页]

作者: yexiayi 时间: 2021-4-20 11:25
标题: 开启预编译后生成的rknn文件在开发板上无法推理
在Ubuntu环境下将TensorFlow1.11.0版本生成的yolov3 pb文件转换为rknn文件，过程中如果不开启预编译，rknn模型在开发板上能够正常推理，结果正确。但是一旦开启预编译，转换得到的rknn模型在3399pro开发板上加载后无法推理。经过排查，运行过程卡在模型推理rknn.inference(inputs=[img])这步。

代码附上，其中supermarket.py为开发板上的运行代码。supermarket.rknn为已量化未开启预编译模型（能够推理识别，结果正确，附测试图片）。pre_compile.rknn（开启预编译，运行时卡住无法正常推理识别）。pre_compile.py为模型转换代码，yolov3_test_loss=1.0708.pb为原模型文件

链接：https://pan.baidu.com/s/1_jHW4l1_n68qn7_fCz-baQ
提取码：8888

作者: jefferyzhang 时间: 2021-4-20 11:48
1. 什么板子，什么芯片，什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配，是否都为V1.6

作者: yexiayi 时间: 2021-4-21 10:53

jefferyzhang 发表于 2021-4-20 11:48
1. 什么板子，什么芯片，什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配，是否都为V1.6 ...

3399pro debian10 最新的系统1.6的api 1.6的驱动

作者: jefferyzhang 时间: 2021-4-21 10:55
本帖最后由 jefferyzhang 于 2021-4-21 11:00 编辑

yexiayi 发表于 2021-4-21 10:53
3399pro debian10 最新的系统1.6的api 1.6的驱动

不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么？

作者: yexiayi 时间: 2021-4-21 11:54

jefferyzhang 发表于 2021-4-21 10:55
不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么？
...

买的TB-RK3399pro X，就是你们的板子。不开就都正常，但是加载要挺久。

作者: jefferyzhang 时间: 2021-4-21 12:07

yexiayi 发表于 2021-4-21 11:54
买的TB-RK3399pro X，就是你们的板子。不开就都正常，但是加载要挺久。

开了预编译是会卡很久，然后返回错误结果对么？
我去找NPU的人问下

作者: yexiayi 时间: 2021-4-21 13:53

jefferyzhang 发表于 2021-4-21 12:07
开了预编译是会卡很久，然后返回错误结果对么？
我去找NPU的人问下

[attach]1762[/attach]

我在rknn.inference(inputs=[img])前输出1，推理完成后输出2，结果如上图，就卡在模型推理这步，十分钟也出不来结果。你可以下载我的模型和代码跑一下，没开预编译就加载30秒推理是正常的，开了预编译就卡住没结果。

作者: jefferyzhang 时间: 2021-4-21 15:14

yexiayi 发表于 2021-4-21 13:53
我在rknn.inference(inputs=)前输出1，推理完成后输出2，结果如上图，就卡在模型推理这步，十分钟也出 ...

已经把问题报上去了

作者: yexiayi 时间: 2021-4-21 15:23

jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

非常感谢

作者: brunolin 时间: 2021-4-29 16:17
可加載未預編譯模型，再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載和推理

作者: yexiayi 时间: 2021-4-30 17:14
本帖最后由 yexiayi 于 2021-4-30 17:16 编辑

brunolin 发表于 2021-4-29 16:17
可加載未預編譯模型，再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載 ...

谢谢回复，之前尝试过使用过这个方法，还是同样的问题。

作者: yexiayi 时间: 2021-4-30 17:17

brunolin 发表于 2021-4-29 16:17
可加載未預編譯模型，再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載 ...

谢谢回复，之前尝试过这个方法，还是同样的问题。

作者: yexiayi 时间: 2021-5-17 10:00

jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

请问有新进展吗？

作者: yanlei 时间: 2022-4-26 16:30

jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

请问这个问题解决了吗？我们现在使用1.6的版本也遇到了同样的问题？谢谢！

作者: jefferyzhang 时间: 2022-4-26 16:37

yanlei 发表于 2022-4-26 16:30
请问这个问题解决了吗？我们现在使用1.6的版本也遇到了同样的问题？谢谢！ ...

1.7.1试试

欢迎光临 Toybrick (https://t.rock-chips.com/)