rk3399pro npu支持多线程跑同一个模型吗?

只看该作者 · 发表于 2019-10-22 11:08:58

本帖最后由 shopping 于 2019-10-22 11:15 编辑

jefferyzhang 发表于 2019-9-17 17:59
1.2版本开始已经支持batch输入了，这种做法没有问题。
或者两个进程（线程）单独送自己的数据给不同模型 ...

你好，C++ 将两张图拼成一个batch，是不是将

rknn_input inputs[1];

  rknn_output outputs[2];

  rknn_tensor_attr outputs_attr[2];
复制代码

改为：

rknn_input inputs[2];

  rknn_output outputs[4];

  rknn_tensor_attr outputs_attr[4];
复制代码

结果输出的时候 inputs[0] 与 outputs[0]、outputs[1] ， inputs[1] 与 outputs[2]、outputs[3] 是对应的吧？

只看该作者 · 发表于 2019-10-22 11:20:30

jefferyzhang 发表于 2019-9-17 09:04
1.2已经支持mini batch输入了。
我们支持多模型同时跑，NPU是分时复用的，跟cl没啥关系。你两个模型都可 ...

你好，C++里将数据拼成一个 batch ，是不是将：

rknn_input inputs[1];

rknn_output outputs[2];

rknn_tensor_attr outputs_attr[2];
复制代码

改为：

rknn_input inputs[2];

rknn_output outputs[4];

rknn_tensor_attr outputs_attr[4];
复制代码

RKNN会将 inputs[0]与outputs[0]、outputs[1] ， inputs[1]与outputs[2]、outputs[3] 对应好输出，是吧？