Toybrick

楼主: yexiayi

开启预编译后生成的rknn文件在开发板上无法推理

yexiayi

注册会员

积分
69
发表于 2021-4-20 11:25:53    查看: 1100|回复: 9 | [复制链接]    打印 | 显示全部楼层
在Ubuntu环境下将TensorFlow1.11.0版本生成的yolov3 pb文件转换为rknn文件,过程中如果不开启预编译,rknn模型在开发板上能够正常推理,结果正确。但是一旦开启预编译,转换得到的rknn模型在3399pro开发板上加载后无法推理。经过排查,运行过程卡在模型推理rknn.inference(inputs=[img])这步。

代码附上,其中supermarket.py为开发板上的运行代码。supermarket.rknn为已量化未开启预编译模型(能够推理识别,结果正确,附测试图片)。pre_compile.rknn(开启预编译,运行时卡住无法正常推理识别)。pre_compile.py为模型转换代码,yolov3_test_loss=1.0708.pb为原模型文件

链接:https://pan.baidu.com/s/1_jHW4l1_n68qn7_fCz-baQ
提取码:8888

回复

使用道具 举报

jefferyzhang

超级版主

积分
7967
发表于 2021-4-20 11:48:37 | 显示全部楼层
1. 什么板子,什么芯片,什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配,是否都为V1.6
回复

使用道具 举报

yexiayi

注册会员

积分
69
 楼主| 发表于 2021-4-21 10:53:16 | 显示全部楼层
jefferyzhang 发表于 2021-4-20 11:48
1. 什么板子,什么芯片,什么型号
2. 板子上Npu Driver版本是否和rknn-toolkit匹配,是否都为V1.6 ...

3399pro debian10 最新的系统1.6的api 1.6的驱动
回复

使用道具 举报

jefferyzhang

超级版主

积分
7967
发表于 2021-4-21 10:55:45 | 显示全部楼层
本帖最后由 jefferyzhang 于 2021-4-21 11:00 编辑
yexiayi 发表于 2021-4-21 10:53
3399pro debian10 最新的系统1.6的api 1.6的驱动

不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么?
回复

使用道具 举报

yexiayi

注册会员

积分
69
 楼主| 发表于 2021-4-21 11:54:57 | 显示全部楼层
jefferyzhang 发表于 2021-4-21 10:55
不是toybrick板子的话请联系你的代理商debug问题.不开预编译会有什么问题么?
...

买的TB-RK3399pro X,就是你们的板子。不开就都正常,但是加载要挺久。
回复

使用道具 举报

jefferyzhang

超级版主

积分
7967
发表于 2021-4-21 12:07:36 | 显示全部楼层
yexiayi 发表于 2021-4-21 11:54
买的TB-RK3399pro X,就是你们的板子。不开就都正常,但是加载要挺久。

开了预编译是会卡很久,然后返回错误结果对么?
我去找NPU的人问下
回复

使用道具 举报

yexiayi

注册会员

积分
69
 楼主| 发表于 2021-4-21 13:53:52 | 显示全部楼层
jefferyzhang 发表于 2021-4-21 12:07
开了预编译是会卡很久,然后返回错误结果对么?
我去找NPU的人问下



我在rknn.inference(inputs=[img])前输出1,推理完成后输出2,结果如上图,就卡在模型推理这步,十分钟也出不来结果。你可以下载我的模型和代码跑一下,没开预编译就加载30秒推理是正常的,开了预编译就卡住没结果。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

jefferyzhang

超级版主

积分
7967
发表于 2021-4-21 15:14:37 | 显示全部楼层
yexiayi 发表于 2021-4-21 13:53
我在rknn.inference(inputs=)前输出1,推理完成后输出2,结果如上图,就卡在模型推理这步,十分钟也出 ...

已经把问题报上去了
回复

使用道具 举报

yexiayi

注册会员

积分
69
 楼主| 发表于 2021-4-21 15:23:56 | 显示全部楼层
jefferyzhang 发表于 2021-4-21 15:14
已经把问题报上去了

非常感谢
回复

使用道具 举报

brunolin

中级会员

积分
441
发表于 2021-4-29 16:17:02 | 显示全部楼层
可加載未預編譯模型,再用export_rknn_precompile_model 導出預編譯模型。
試試這個預編譯模型能否正常加載和推理
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表