rknn多图推理参数设置

只看该作者 · 发表于 2019-10-23 16:28:11

raul 发表于 2019-10-18 09:30
这样写试下。打印output0看跟单张是不是类似的？

我尝试了一下，结果并不类似....

只看该作者 · 发表于 2019-10-23 16:30:31

batchsize=1是否一致

只看该作者 · 发表于 2019-10-29 16:08:45

你好，请问是否有c++ 接口的示例，谢谢

只看该作者 · 发表于 2020-3-16 16:29:20

请问一下，这里将rknn_batch_size设为3，一次跑3张图片，比rknn_batch_size设为1，顺序执行3张图片要快吗？大概快多少？

只看该作者 · 发表于 2020-3-17 09:49:43

呱唧发表于 2020-3-16 16:29
请问一下，这里将rknn_batch_size设为3，一次跑3张图片，比rknn_batch_size设为1，顺序执行3张图片要快吗？ ...

这个不一定快，得看NPU是不是刚好有空闲资源。
NPU是分时复用的，除非刚好遇到一个简单的OP出现NPU资源空闲，可以通过加大batch塞满计算资源外，其余都是分时复用的，batch=3和batch=1送三次没区别。