请问RK1808S计算棒能够支持并行推理吗

你好，请教一下，py的推理输入接口是一个array，但是却只允许传入一个图片。
所以想确定，加速棒有没有可能允许并行推理，如GPU运作一样，内部有多个核
这样可以将资源充分使用

补充一下，就是输入多个图片能并行加速运算，这样更有效率，并有些模型的比较大，能够充分运用内部资源
而有些模型较为简单，内部资源没有充分运行。所以若有这样的功能，那么简单的模型就可以并行推理，这样是否效率更高
请问支持这样的功能吗

1. rknn支持batch size > 1 的 input， 详细请参看rknn文档
2. 也支持多模型同时运行

jefferyzhang 发表于 2019-11-8 08:36
1. rknn支持batch size > 1 的 input， 详细请参看rknn文档
2. 也支持多模型同时运行
...

1.请教一下，你这里描述的batch size >1 的INPUT，应该就是表示多个支持多个图片同时推理
刚又翻看了文档，发现C接口是描述了可以多个输入

但是python接口：inference（）：inputs：待推理的输入，如经过 cv2处理的图片。格式是 ndarray list。
尝试如下：
(1).outputs = rknn.inference(inputs=[img，img2])

E RKNNAPI: rknn_input_set,  n_inputs = 2, expect 1!
E Catch exception when setting inputs.

(2).outputs = rknn.inference(inputs=[[img]，[img2]])
若是这样传递图片，那么 outputs 返回的是None

2.支持多模型同时运行，该如何操作，直接调用API加载两个模型，但是接口是阻塞类型的，如何理解这个并行呢

mailonghua 发表于 2019-11-8 10:50
1.请教一下，你这里描述的batch size >1 的INPUT，应该就是表示多个支持多个图片同时推理
刚又翻看了文档 ...

python借口也是支持的，但是你要转成numpy数组，不是这样送进去的，没有list和array混用的。
具体你参考下本论坛有一个mnist多图推理的教程

还有就是batch_size需要提前知道，在转换模型时候就必须固定。

jefferyzhang 发表于 2019-11-8 10:53
python借口也是支持的，但是你要转成numpy数组，不是这样送进去的，没有list和array混用的。
具体你参考 ...

好的，谢谢你，我找找帖子

jefferyzhang 发表于 2019-11-8 10:54
还有就是batch_size需要提前知道，在转换模型时候就必须固定。

你好，请问后续会考虑加入动态batch_size支持吗， 类似NNIE

jefferyzhang 发表于 2019-11-8 10:53
python借口也是支持的，但是你要转成numpy数组，不是这样送进去的，没有list和array混用的。
具体你参考 ...

是这个吗
http://t.rock-chips.com/forum.ph ... ge=1&extra=#pid4127

多图推理：http://t.rock-chips.com/forum.php?mod=viewthread&tid=929