rknn_batch_size>1的时候，rknn运算是多张图并行吗？

[复制链接] · 发表于 2020-3-28 23:27:45

rknn_batch_size>1的时候，rknn运算是多张图并行吗？
如果能并行是不是可以成倍提升速度。
如果不是，rknn_batch_size这个设置具体起到什么作用？

只看该作者 · 发表于 2020-3-29 11:07:15

并不并行得看具体op驱动是否支持，如果是可以多batch合并运算的op，是会并行计算的，否则都只是分时复用。
具体可以根据自己模型打印下时间，理论上是会有些许提升，但一般来说提升不会很大。

只看该作者 · 发表于 2020-7-25 15:41:00

jefferyzhang 发表于 2020-3-29 11:07
并不并行得看具体op驱动是否支持，如果是可以多batch合并运算的op，是会并行计算的，否则都只是分时复用。
...

小白咨询一下版主，我模型进行多batch转换成功了，但是在RK3399pro上运行的时候，提示rknn_input_set，n_inputs=16，expect 1！是不是就是你说的OP驱动不支持？我想问问OP驱动是指什么？