rk3399pro npu支持多线程跑同一个模型吗?

npu不支持mini batch输入，输入只能是一次一个。

shopping 发表于 2019-9-16 11:50
你好，看了社区其他帖子，问一句。你说 npu 不支持 多线程跑同一个模型，但是支持 多模型一起跑。目前我 ...

1.2已经支持mini batch输入了。
我们支持多模型同时跑，NPU是分时复用的，跟cl没啥关系。你两个模型都可以跑npu上

gwjjj35 发表于 2019-9-17 11:24
那想请问一下，多模型可否是同一个模型呢？一次同时跑两个一样的模型？
...

可以

shopping 发表于 2019-9-17 15:34
所以如果我想同时跑两个 mobilenet-ssd 模型，我要打开两个终端窗口，在不同窗口下运行 mobilenet-ssd de ...

1.2版本开始已经支持batch输入了，这种做法没有问题。
或者两个进程（线程）单独送自己的数据给不同模型都可以

shopping 发表于 2019-10-18 12:16
你好，老哥你说的这个NPU的 “分时复用” ，是不是类似于加了把互斥锁，一个 线程/进程 调用了NPU ，其他 ...

NPU是一个IP核，跟你单核CPU是一样的。单核CPU也是分时复用机制，一样可以写多线程代码