Toybrick

标题: 求助，现在rknn有支持可变大小的batch大小推理吗？　 [打印本页]

作者: shaoweiyuan 时间: 2020-7-29 16:38
标题: 求助，现在rknn有支持可变大小的batch大小推理吗？　
已经调通了多batch推理，但是又不想同时启多个rknn网络。有办法在build时设置rknn_batch_size = [min,preferred,max]或者一个范围吗？

作者: jefferyzhang 时间: 2020-7-30 14:35
没有，不可变。
分时复用NPU，你多个batch都不会有1batch * n来的快多少

作者: ltm 时间: 2021-5-6 16:04

jefferyzhang 发表于 2020-7-30 14:35
没有，不可变。
分时复用NPU，你多个batch都不会有1batch * n来的快多少

你好，我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化，请问这个是需要怎么排查问题呢，谢谢

作者: jefferyzhang 时间: 2021-5-6 16:22

ltm 发表于 2021-5-6 16:04
你好，我这边yolov5s测试batch=1 和 batch=8 的单张平均速度一致没有变化，请问这个是需要怎么排查问题呢 ...

我不是说了么，分时复用的，batch=8就是8倍的batch=1速度。。。

作者: ltm 时间: 2021-5-6 17:33
本帖最后由 ltm 于 2021-5-6 17:45 编辑

jefferyzhang 发表于 2021-5-6 16:22
我不是说了么，分时复用的，batch=8就是8倍的batch=1速度。。。

嗷嗷，我重复发了帖子，实在抱歉！
之前没太理解《多个batch》的意思，那也就是batch这个接口其实没有什么用，底层是逐张for循环？如果两个npu的话就可以同时处理两张了么？
你说的理解为单核，是指类似GPU中的单个计算核，逐像素做么？还是说类似一个block，只不过这个block比较小。如果网络输入足够小，小于这个block，也可以实现并行么？

谢谢

作者: ltm 时间: 2021-5-6 17:54

ltm 发表于 2021-5-6 17:33
嗷嗷，我重复发了帖子，实在抱歉！
之前没太理解《多个batch》的意思，那也就是batch这个接口其实没有什么 ...

看了一下npu的设计，应该是因为npu的mac单元太少了，所以对于大图片数据来说batch的作用凸显不出来，应该是这样的吧

作者: jefferyzhang 时间: 2021-5-6 18:06

ltm 发表于 2021-5-6 17:54
看了一下npu的设计，应该是因为npu的mac单元太少了，所以对于大图片数据来说batch的作用凸显不出来，应该 ...

嗯，是的，你可以当他就是一核DSP而已

欢迎光临 Toybrick (https://t.rock-chips.com/)