Toybrick

图像融合RKNN模型推理耗时很长

sdp

注册会员

积分
190
发表于 2023-5-23 20:26:28    查看: 1670|回复: 6 | [复制链接]    打印 | 显示全部楼层
图像融合pytorch模型两个输入分别为[1,1,640,640],[1,1,640,640],pt转换为onnx模型大小为677kB,onnx转换为rknn模型却变大为6.9MB,使用rknn模型推理rknn.inference耗时也很长为0.2s左右。查看onnx模型所使用的算子也是简单的conv,concat,relu,sigmoid,请问推理耗时很长可能是什么原因呢?


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

jefferyzhang

版主

积分
12907
发表于 2023-5-25 10:17:55 | 显示全部楼层
量化过了吗?仿真跑过没有,仿真打印出的评估时间是多少
回复

使用道具 举报

sdp

注册会员

积分
190
 楼主| 发表于 2023-5-25 16:26:14 | 显示全部楼层
本帖最后由 sdp 于 2023-5-25 16:36 编辑
jefferyzhang 发表于 2023-5-25 10:17
量化过了吗?仿真跑过没有,仿真打印出的评估时间是多少


量化了,do_quantization=True,上面是PC和RK3588连板调试打印的每层用时。第二张图是检测yolov5s的用时。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

jefferyzhang

版主

积分
12907
发表于 2023-5-25 16:46:01 | 显示全部楼层
这个是在板子上实测时间么?
回复

使用道具 举报

sdp

注册会员

积分
190
 楼主| 发表于 2023-5-25 17:06:09 | 显示全部楼层
jefferyzhang 发表于 2023-5-25 16:46
这个是在板子上实测时间么?

是的,使用PC连板调试打印的,在板子的NPU上跑的时间。
回复

使用道具 举报

jefferyzhang

版主

积分
12907
发表于 2023-5-25 17:19:01 | 显示全部楼层
本帖最后由 jefferyzhang 于 2023-5-25 17:20 编辑

看这图没什么太大问题,层数也没有莫名其妙变多,每一层都是640x640,模型是很大,计算耗时应该就是实际的了。
这是3588上的时间么?运算结果是否是正确的?
回复

使用道具 举报

sdp

注册会员

积分
190
 楼主| 发表于 2023-5-25 17:31:26 | 显示全部楼层
jefferyzhang 发表于 2023-5-25 17:19
看这图没什么太大问题,层数也没有莫名其妙变多,每一层都是640x640,模型是很大,计算耗时应该就是实际的 ...

图像融合的结果基本正确吧,有颜色偏差应该是后处理的问题。我也是第一次打印出来时间,每层都是640*640,计算量确实太大了,那耗时长应该也正常了。我再改改网络吧。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表