rknn_yolov5_demo 中 batch 设置和推理时间长短的关系

[复制链接] · 发表于 2021-12-13 17:16:49

使用rknpu/rknn/rknn_api/examples/rknn_yolov5_demo/里面的模型，开1个batch的时候，rknn_run一次是48ms，但是开了4个batch的时候，rknn_run一次是258ms,这类模型开bath反倒时间会边长吗？

只看该作者 · 发表于 2021-12-13 17:34:52

你要多测试几次取平均值。具体还是看你用的芯片，每个芯片对batch定义不一定一样，3399pro可能就会因为batch越大，传输图像时间就变长了

只看该作者 · 发表于 2021-12-15 10:15:55

本帖最后由 lilisai2019 于 2021-12-15 10:56 编辑

jefferyzhang 发表于 2021-12-13 17:34
你要多测试几次取平均值。具体还是看你用的芯片，每个芯片对batch定义不一定一样，3399pro可能就会因为batc ...

我们用的是 rk1808 的芯片。测试了很多次了，结果偏差不大，都是4batch的时候，比4次推理的时间长，可以用rk官方的yolo v5s模型浮现到。

只看该作者 · 发表于 2021-12-15 10:31:23

lilisai2019 发表于 2021-12-15 10:15
我们用的是 rk1808 的芯片

1808的话batch设置没有太大意义，一张一张送就可以

只看该作者 · 发表于 2021-12-15 10:56:37

jefferyzhang 发表于 2021-12-15 10:31
1808的话batch设置没有太大意义，一张一张送就可以

好的，谢谢。