求助，现在rknn有支持可变大小的batch大小推理吗？

[复制链接] · 发表于 2020-7-29 16:38:38

已经调通了多batch推理，但是又不想同时启多个rknn网络。有办法在build时设置rknn_batch_size = [min,preferred,max]或者一个范围吗？

只看该作者 · 发表于 2020-7-30 14:35:04

没有，不可变。
分时复用NPU，你多个batch都不会有1batch * n来的快多少

只看该作者 · 发表于 2021-5-6 16:04:22

jefferyzhang 发表于 2020-7-30 14:35
没有，不可变。
分时复用NPU，你多个batch都不会有1batch * n来的快多少

你好，我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化，请问这个是需要怎么排查问题呢，谢谢

只看该作者 · 发表于 2021-5-6 16:22:01

ltm 发表于 2021-5-6 16:04
你好，我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化，请问这个是需要怎么排查问题呢 ...

我不是说了么，分时复用的，batch=8就是8倍的batch=1速度。。。

只看该作者 · 发表于 2021-5-6 17:33:03

本帖最后由 ltm 于 2021-5-6 17:45 编辑

jefferyzhang 发表于 2021-5-6 16:22
我不是说了么，分时复用的，batch=8就是8倍的batch=1速度。。。

嗷嗷，我重复发了帖子，实在抱歉！
之前没太理解《多个batch》的意思，那也就是batch这个接口其实没有什么用，底层是逐张for循环？如果两个npu的话就可以同时处理两张了么？
你说的理解为单核，是指类似GPU中的单个计算核，逐像素做么？还是说类似一个block，只不过这个block比较小。如果网络输入足够小，小于这个block，也可以实现并行么？

谢谢

只看该作者 · 发表于 2021-5-6 17:54:45

ltm 发表于 2021-5-6 17:33
嗷嗷，我重复发了帖子，实在抱歉！
之前没太理解《多个batch》的意思，那也就是batch这个接口其实没有什么 ...

看了一下npu的设计，应该是因为npu的mac单元太少了，所以对于大图片数据来说batch的作用凸显不出来，应该是这样的吧

只看该作者 · 发表于 2021-5-6 18:06:50

ltm 发表于 2021-5-6 17:54
看了一下npu的设计，应该是因为npu的mac单元太少了，所以对于大图片数据来说batch的作用凸显不出来，应该 ...

嗯，是的，你可以当他就是一核DSP而已