Toybrick

求助,现在rknn有支持可变大小的batch大小推理吗? 

shaoweiyuan

新手上路

积分
14
发表于 2020-7-29 16:38:38    查看: 10944|回复: 6 | [复制链接]    打印 | 显示全部楼层
已经调通了多batch推理,但是又不想同时启多个rknn网络。有办法在build时设置rknn_batch_size = [min,preferred,max]或者一个范围吗?

回复

使用道具 举报

jefferyzhang

版主

积分
12844
发表于 2020-7-30 14:35:04 | 显示全部楼层
没有,不可变。
分时复用NPU,你多个batch都不会有1batch * n来的快多少
回复

使用道具 举报

ltm

新手上路

积分
37
发表于 2021-5-6 16:04:22 | 显示全部楼层
jefferyzhang 发表于 2020-7-30 14:35
没有,不可变。
分时复用NPU,你多个batch都不会有1batch * n来的快多少

你好,我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化,请问这个是需要怎么排查问题呢,谢谢
回复

使用道具 举报

jefferyzhang

版主

积分
12844
发表于 2021-5-6 16:22:01 | 显示全部楼层
ltm 发表于 2021-5-6 16:04
你好,我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化,请问这个是需要怎么排查问题呢 ...

我不是说了么,分时复用的,batch=8就是8倍的batch=1速度。。。
回复

使用道具 举报

ltm

新手上路

积分
37
发表于 2021-5-6 17:33:03 | 显示全部楼层
本帖最后由 ltm 于 2021-5-6 17:45 编辑
jefferyzhang 发表于 2021-5-6 16:22
我不是说了么,分时复用的,batch=8就是8倍的batch=1速度。。。

嗷嗷,我重复发了帖子,实在抱歉!
之前没太理解《多个batch》的意思,那也就是batch这个接口其实没有什么用,底层是逐张for循环?如果两个npu的话就可以同时处理两张了么?
你说的理解为单核,是指类似GPU中的单个计算核,逐像素做么?还是说类似一个block,只不过这个block比较小。如果网络输入足够小,小于这个block,也可以实现并行么?

谢谢

回复

使用道具 举报

ltm

新手上路

积分
37
发表于 2021-5-6 17:54:45 | 显示全部楼层
ltm 发表于 2021-5-6 17:33
嗷嗷,我重复发了帖子,实在抱歉!
之前没太理解《多个batch》的意思,那也就是batch这个接口其实没有什么 ...

看了一下npu的设计,应该是因为npu的mac单元太少了,所以对于大图片数据来说batch的作用凸显不出来,应该是这样的吧
回复

使用道具 举报

jefferyzhang

版主

积分
12844
发表于 2021-5-6 18:06:50 | 显示全部楼层
ltm 发表于 2021-5-6 17:54
看了一下npu的设计,应该是因为npu的mac单元太少了,所以对于大图片数据来说batch的作用凸显不出来,应该 ...

嗯,是的,你可以当他就是一核DSP而已
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表