Toybrick

标题: rknn_batch_size>1的时候，rknn运算是多张图并行吗？ [打印本页]

作者: 15992605143 时间: 2020-3-28 23:27
标题: rknn_batch_size>1的时候，rknn运算是多张图并行吗？
rknn_batch_size>1的时候，rknn运算是多张图并行吗？
如果能并行是不是可以成倍提升速度。
如果不是，rknn_batch_size这个设置具体起到什么作用？

作者: jefferyzhang 时间: 2020-3-29 11:07
并不并行得看具体op驱动是否支持，如果是可以多batch合并运算的op，是会并行计算的，否则都只是分时复用。
具体可以根据自己模型打印下时间，理论上是会有些许提升，但一般来说提升不会很大。

作者: fjndfazp 时间: 2020-7-25 15:41

jefferyzhang 发表于 2020-3-29 11:07
并不并行得看具体op驱动是否支持，如果是可以多batch合并运算的op，是会并行计算的，否则都只是分时复用。
...

小白咨询一下版主，我模型进行多batch转换成功了，但是在RK3399pro上运行的时候，提示rknn_input_set，n_inputs=16，expect 1！是不是就是你说的OP驱动不支持？我想问问OP驱动是指什么？

欢迎光临 Toybrick (https://t.rock-chips.com/)