开启预编译后生成的rknn文件在开发板上无法推理

在Ubuntu环境下将TensorFlow1.11.0版本生成的yolov3 pb文件转换为rknn文件，过程中如果不开启预编译，rknn模型在开发板上能够正常推理，结果正确。但是一旦开启预编译，转换得到的rknn模型在3399pro开发板上加载后无法推理。经过排查，运行过程卡在模型推理rknn.inference(inputs=[img])这步。

代码附上，其中supermarket.py为开发板上的运行代码。supermarket.rknn为已量化未开启预编译模型（能够推理识别，结果正确，附测试图片）。pre_compile.rknn（开启预编译，运行时卡住无法正常推理识别）。pre_compile.py为模型转换代码，yolov3_test_loss=1.0708.pb为原模型文件

链接：https://pan.baidu.com/s/1_jHW4l1_n68qn7_fCz-baQ
提取码：8888

1. 什么板子，什么芯片，什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配，是否都为V1.6

jefferyzhang 发表于 2021-4-20 11:48
1. 什么板子，什么芯片，什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配，是否都为V1.6 ...

3399pro debian10 最新的系统1.6的api 1.6的驱动

yexiayi 发表于 2021-4-21 10:53
3399pro debian10 最新的系统1.6的api 1.6的驱动

不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么？

jefferyzhang 发表于 2021-4-21 10:55
不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么？
...

买的TB-RK3399pro X，就是你们的板子。不开就都正常，但是加载要挺久。

yexiayi 发表于 2021-4-21 11:54
买的TB-RK3399pro X，就是你们的板子。不开就都正常，但是加载要挺久。

开了预编译是会卡很久，然后返回错误结果对么？
我去找NPU的人问下

jefferyzhang 发表于 2021-4-21 12:07
开了预编译是会卡很久，然后返回错误结果对么？
我去找NPU的人问下

我在rknn.inference(inputs=[img])前输出1，推理完成后输出2，结果如上图，就卡在模型推理这步，十分钟也出不来结果。你可以下载我的模型和代码跑一下，没开预编译就加载30秒推理是正常的，开了预编译就卡住没结果。

yexiayi 发表于 2021-4-21 13:53
我在rknn.inference(inputs=)前输出1，推理完成后输出2，结果如上图，就卡在模型推理这步，十分钟也出 ...

已经把问题报上去了

jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

非常感谢

可加載未預編譯模型，再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載和推理