Toybrick

设置pre-compile=True,yolov5s.rknn模型在RV1126上运行出现GPU[0] hang

theantbully

注册会员

积分
63
发表于 2021-9-1 11:13:03    查看: 3582|回复: 3 | [复制链接]    打印 | 显示全部楼层
Yolov5s来源于官网:https://github.com/ultralytics/yolov5/ matser 分支, 转换的toolkit为rknn-1.7.0

当设置pre-compile=False,模型load很慢,但结果正确:

当设置pre-compile=True, 模型load很快,但是报错GPU[0] hang:

有谁知知道这是啥毛病吗?
与rknn模型的导出方式有关系吗?我是在x86_64的PC上离线导出的,然后在RV1126上运行。

另外,我猜测当pre_compile=False的时候,导出的模型load要很久,是不是在RV1126上做pre_compile?
如果是这样,那么在RV1126上设置pre_compile=True,在线导出模型,下次再加载是不是就没这个问题了?


回复

使用道具 举报

theantbully

注册会员

积分
63
 楼主| 发表于 2021-9-1 11:17:19 | 显示全部楼层


pre_compile = False, 结果正常


pre_compile = True, 报错GPU[0] hang

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

theantbully

注册会员

积分
63
 楼主| 发表于 2021-9-1 16:18:53 | 显示全部楼层
打开verbose=True,估计下面log相关:
I [vnn_CreateRKNN:6047]graph io initialize
D [setup_node:441]Setup node id[0] uid[0] op[NBG] name[nbg_0]
D [print_tensor:146]in(0) : id[   3] vtl[0] const[0] shape[ 640, 640, 3, 1   ] fmt[f16] qnt[NONE]
D [print_tensor:146]out(0): id[   0] vtl[0] const[0] shape[ 80, 80, 85, 3, 1 ] fmt[u8 ] qnt[ASM zp=213, scale=0.097085]
D [print_tensor:146]out(1): id[   1] vtl[0] const[0] shape[ 40, 40, 85, 3, 1 ] fmt[u8 ] qnt[ASM zp=183, scale=0.086296]
D [print_tensor:146]out(2): id[   2] vtl[0] const[0] shape[ 20, 20, 85, 3, 1 ] fmt[u8 ] qnt[ASM zp=179, scale=0.076124]
D [optimize_node:385]Backward optimize neural network
D [optimize_node:392]Forward optimize neural network
I [compute_node:327]Create vx node
D [compute_node:350]Instance node[0] "NBG" ...
E [compute_node:354]Create node[0] NBG fail
Create rknn graph fail!

Warning: NN VipSram is NULL, but SRAM is enabled!
I [remove_client_ops:5508]remove_client_ops num=0
I [remove_client_ops:5519]remove_client_ops finish
Create RKNN model fail, error=-6

回复

使用道具 举报

theantbully

注册会员

积分
63
 楼主| 发表于 2021-9-2 09:52:43 | 显示全部楼层
E [compute_node:354]Create node[0] NBG fail
Create rknn graph fail!

是由于在PC上init_runtime引起的。还是得看GPU[0] hang 的原因.
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表