Toybrick

调用batch inference比串行inference还慢

leogift_5815

注册会员

积分
145
发表于 2020-1-17 15:12:26    查看: 6284|回复: 2 | [复制链接]    打印 | 显示全部楼层
我们基于tb3399prod进行android开发,使用rknn_api_1.2.0版本进行推断;
模型为openpose,使用rknn_toolkit_1.2.1进行模型转换,做了以下两个实验:

1.普通转换,输入为192x192x3,在板上测试单帧运行时间<50ms
2.转换时指明batch_size=2,运行时将input改为2x192x192x3,每batch运行时间>180ms,折合单帧90ms

请问这个数据是否正常,batch inference反而更慢?
回复

使用道具 举报

jefferyzhang

版主

积分
12851
发表于 2020-1-25 08:52:06 | 显示全部楼层
1.2.0多batch上某些op有bug,在1.3.0已经修复,请更新下版本再试试
回复

使用道具 举报

leogift_5815

注册会员

积分
145
 楼主| 发表于 2020-1-28 16:49:23 | 显示全部楼层
jefferyzhang 发表于 2020-1-25 08:52
1.2.0多batch上某些op有bug,在1.3.0已经修复,请更新下版本再试试

好的,感谢回复,我们继续测试
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表