请问RK1808S计算棒能够支持并行推理吗

1. rknn支持batch size > 1 的 input， 详细请参看rknn文档
2. 也支持多模型同时运行

mailonghua 发表于 2019-11-8 10:50
1.请教一下，你这里描述的batch size >1 的INPUT，应该就是表示多个支持多个图片同时推理
刚又翻看了文档 ...

python借口也是支持的，但是你要转成numpy数组，不是这样送进去的，没有list和array混用的。
具体你参考下本论坛有一个mnist多图推理的教程

还有就是batch_size需要提前知道，在转换模型时候就必须固定。

多图推理：http://t.rock-chips.com/forum.php?mod=viewthread&tid=929

几头米 发表于 2019-11-8 11:17
你好，请问后续会考虑加入动态batch_size支持吗， 类似NNIE

理论上是不会支持的，加载模型时候需要知道参数和运算单元数量，并且客户也没有这种场景需求。
会变化batch size不如你搞成1个batch就是了，多batch在复杂模型上并不会提高资源利用率。

mailonghua 发表于 2019-11-8 15:08
谢谢，这个刚才有参考修改模型（使用了提供的mobilenet_v1的test case），但是出现了警告，从total time ...

看具体运行时间，不用看评估。
评估的好像只会是一个batch的时间。

只要网络大于NPU的计算单元，3个batch的时间一定是约等于 3倍1个batch的时间的。
NPU模块很小，你们一直在误解能跟GPU一样多batch提高利用率，但你仔细看看NPU的面积才多少，除非你网络真的非常小，否则不存在一个batch跑不满NPU计算单元的情况出现。

mailonghua 发表于 2019-11-8 15:47
感谢提醒和帮助
那么上面的warning是正常的吗？其是在提示输入单元（3*224*224*3）个数超过了实际要求（2 ...

应该是你build时候batchsize就不对。。rknn转换时候压根就没设进去batch=3