Toybrick

标题: 调用batch inference比串行inference还慢 [打印本页]

作者: leogift_5815 时间: 2020-1-17 15:12
标题: 调用batch inference比串行inference还慢
我们基于tb3399prod进行android开发，使用rknn_api_1.2.0版本进行推断；
模型为openpose，使用rknn_toolkit_1.2.1进行模型转换，做了以下两个实验：

1.普通转换，输入为192x192x3，在板上测试单帧运行时间<50ms；
2.转换时指明batch_size=2，运行时将input改为2x192x192x3，每batch运行时间>180ms，折合单帧90ms。

请问这个数据是否正常，batch inference反而更慢？

作者: jefferyzhang 时间: 2020-1-25 08:52
1.2.0多batch上某些op有bug，在1.3.0已经修复，请更新下版本再试试

作者: leogift_5815 时间: 2020-1-28 16:49

jefferyzhang 发表于 2020-1-25 08:52
1.2.0多batch上某些op有bug，在1.3.0已经修复，请更新下版本再试试

好的，感谢回复，我们继续测试

欢迎光临 Toybrick (https://t.rock-chips.com/)