Toybrick

标题: 求助,现在rknn有支持可变大小的batch大小推理吗?  [打印本页]

作者: shaoweiyuan    时间: 2020-7-29 16:38
标题: 求助,现在rknn有支持可变大小的batch大小推理吗? 
已经调通了多batch推理,但是又不想同时启多个rknn网络。有办法在build时设置rknn_batch_size = [min,preferred,max]或者一个范围吗?


作者: jefferyzhang    时间: 2020-7-30 14:35
没有,不可变。
分时复用NPU,你多个batch都不会有1batch * n来的快多少
作者: ltm    时间: 2021-5-6 16:04
jefferyzhang 发表于 2020-7-30 14:35
没有,不可变。
分时复用NPU,你多个batch都不会有1batch * n来的快多少

你好,我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化,请问这个是需要怎么排查问题呢,谢谢
作者: jefferyzhang    时间: 2021-5-6 16:22
ltm 发表于 2021-5-6 16:04
你好,我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化,请问这个是需要怎么排查问题呢 ...

我不是说了么,分时复用的,batch=8就是8倍的batch=1速度。。。

作者: ltm    时间: 2021-5-6 17:33
本帖最后由 ltm 于 2021-5-6 17:45 编辑
jefferyzhang 发表于 2021-5-6 16:22
我不是说了么,分时复用的,batch=8就是8倍的batch=1速度。。。

嗷嗷,我重复发了帖子,实在抱歉!
之前没太理解《多个batch》的意思,那也就是batch这个接口其实没有什么用,底层是逐张for循环?如果两个npu的话就可以同时处理两张了么?
你说的理解为单核,是指类似GPU中的单个计算核,逐像素做么?还是说类似一个block,只不过这个block比较小。如果网络输入足够小,小于这个block,也可以实现并行么?

谢谢


作者: ltm    时间: 2021-5-6 17:54
ltm 发表于 2021-5-6 17:33
嗷嗷,我重复发了帖子,实在抱歉!
之前没太理解《多个batch》的意思,那也就是batch这个接口其实没有什么 ...

看了一下npu的设计,应该是因为npu的mac单元太少了,所以对于大图片数据来说batch的作用凸显不出来,应该是这样的吧
作者: jefferyzhang    时间: 2021-5-6 18:06
ltm 发表于 2021-5-6 17:54
看了一下npu的设计,应该是因为npu的mac单元太少了,所以对于大图片数据来说batch的作用凸显不出来,应该 ...

嗯,是的,你可以当他就是一核DSP而已




欢迎光临 Toybrick (https://t.rock-chips.com/) Powered by Discuz! X3.3