Toybrick

batch 推理速度

ltm

新手上路

积分
37
发表于 2021-5-6 15:53:53    查看: 244|回复: 1 | [复制链接]    打印 | 显示全部楼层
根据https://github.com/soloIife/yolov5_for_rknn, 将yolov5s经过onnx到rknn,输入大小为320,测试batch=1 与 batch=8 的平均单张推理时间相同,请过路大神指点,谢谢
回复

使用道具 举报

jefferyzhang

超级版主

积分
7986
发表于 2021-5-6 16:23:12 | 显示全部楼层
分时复用的,就一个NPU,你可以理解为单核,batch=8就是8倍的batch=1的时间。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表