Toybrick

标题: rknn_yolov5_demo 中 batch 设置和推理时间长短的关系 [打印本页]

作者: lilisai2019 时间: 2021-12-13 17:16
标题: rknn_yolov5_demo 中 batch 设置和推理时间长短的关系
使用rknpu/rknn/rknn_api/examples/rknn_yolov5_demo/里面的模型，开1个batch的时候，rknn_run一次是48ms，但是开了4个batch的时候，rknn_run一次是258ms,这类模型开bath反倒时间会边长吗？

作者: jefferyzhang 时间: 2021-12-13 17:34
你要多测试几次取平均值。具体还是看你用的芯片，每个芯片对batch定义不一定一样，3399pro可能就会因为batch越大，传输图像时间就变长了

作者: lilisai2019 时间: 2021-12-15 10:15
本帖最后由 lilisai2019 于 2021-12-15 10:56 编辑

jefferyzhang 发表于 2021-12-13 17:34
你要多测试几次取平均值。具体还是看你用的芯片，每个芯片对batch定义不一定一样，3399pro可能就会因为batc ...

我们用的是 rk1808 的芯片。测试了很多次了，结果偏差不大，都是4batch的时候，比4次推理的时间长，可以用rk官方的yolo v5s模型浮现到。

作者: jefferyzhang 时间: 2021-12-15 10:31

lilisai2019 发表于 2021-12-15 10:15
我们用的是 rk1808 的芯片

1808的话batch设置没有太大意义，一张一张送就可以

作者: lilisai2019 时间: 2021-12-15 10:56

jefferyzhang 发表于 2021-12-15 10:31
1808的话batch设置没有太大意义，一张一张送就可以

好的，谢谢。

欢迎光临 Toybrick (https://t.rock-chips.com/)