多线程推断的问题，请解答

[复制链接] · 发表于 2020-5-15 17:20:46

在python环境下，多线程跑多个模型．比如：　thread1 -> model1(模型大小100M，推断时间t1)，　thread2 -> model2(模型大小50M，推断时间t2)，　thread3 -> model3(模型大小10M，推断时间t3).

测试:
１，　单线程任意跑单个模型，耗费时间正常， t1>t2>t3;
２，　２线程跑任意两个模型，耗费时间不正常， t1=t2或者t1=t3或者t2=t3;

３，　３线程跑３模型，耗费时间不正常， t1=t2=t3;

补充: 如果将model1使用batch推断，那么model2和model3也会拉的和model1推断的时间一样长．

我想问下，在使用多线程推断的时候，rknn内部是否是将图片统一对齐后统一推断统一返回呢，而不是单独分ctx各自工作的．

只看该作者 · 发表于 2020-5-15 17:33:59

NPU是分时复用系统，谁抢到时间片就先跑谁，你这么比对有何意义，
应该算t1+t2+t3时间才有价值。

只看该作者 · 发表于 2020-5-15 18:11:06

多谢解答，确实是我理解错误．　当大模型跑完之后，小模型的线程速度也提上来了．
是我测试不充分．

只看该作者 · 发表于 2021-1-15 10:54:04

jefferyzhang 发表于 2020-5-15 17:33
NPU是分时复用系统，谁抢到时间片就先跑谁，你这么比对有何意义，
应该算t1+t2+t3时间才有价值。 ...

请问哪个线程抢到npu，哪个线程先跑是当这个线程中的npu用完了，才会由其他的线程再去抢npu，还是只要时间到了就会有其他的线程抢npu呢？期待回复，非常感谢