Toybrick

标题: 图像融合RKNN模型推理耗时很长 [打印本页]

作者: sdp 时间: 2023-5-23 20:26
标题: 图像融合RKNN模型推理耗时很长
图像融合pytorch模型两个输入分别为[1,1,640,640],[1,1,640,640]，pt转换为onnx模型大小为677kB，onnx转换为rknn模型却变大为6.9MB，使用rknn模型推理rknn.inference耗时也很长为0.2s左右。查看onnx模型所使用的算子也是简单的conv,concat,relu,sigmoid，请问推理耗时很长可能是什么原因呢？

作者: jefferyzhang 时间: 2023-5-25 10:17
量化过了吗？仿真跑过没有，仿真打印出的评估时间是多少

作者: sdp 时间: 2023-5-25 16:26
本帖最后由 sdp 于 2023-5-25 16:36 编辑

jefferyzhang 发表于 2023-5-25 10:17
量化过了吗？仿真跑过没有，仿真打印出的评估时间是多少

量化了，do_quantization=True，上面是PC和RK3588连板调试打印的每层用时。第二张图是检测yolov5s的用时。

作者: jefferyzhang 时间: 2023-5-25 16:46
这个是在板子上实测时间么？

作者: sdp 时间: 2023-5-25 17:06

jefferyzhang 发表于 2023-5-25 16:46
这个是在板子上实测时间么？

是的，使用PC连板调试打印的，在板子的NPU上跑的时间。

作者: jefferyzhang 时间: 2023-5-25 17:19
本帖最后由 jefferyzhang 于 2023-5-25 17:20 编辑

看这图没什么太大问题，层数也没有莫名其妙变多，每一层都是640x640，模型是很大，计算耗时应该就是实际的了。
这是3588上的时间么？运算结果是否是正确的？

作者: sdp 时间: 2023-5-25 17:31

jefferyzhang 发表于 2023-5-25 17:19
看这图没什么太大问题，层数也没有莫名其妙变多，每一层都是640x640，模型是很大，计算耗时应该就是实际的 ...

图像融合的结果基本正确吧，有颜色偏差应该是后处理的问题。我也是第一次打印出来时间，每层都是640*640，计算量确实太大了，那耗时长应该也正常了。我再改改网络吧。

欢迎光临 Toybrick (https://t.rock-chips.com/)