Toybrick

标题: 推理计算可以多进程吗？ [打印本页]

作者: gwjjj35 时间: 2019-9-17 11:19
标题: 推理计算可以多进程吗？
您好
请问npu里可以实现多进程吗？也就是说同时对两张图片进行推理。

谢谢！

作者: jefferyzhang 时间: 2019-9-17 11:29
NPU是分时复用的。你说的多线程当然是可以的。

作者: gwjjj35 时间: 2019-9-18 11:08

jefferyzhang 发表于 2019-9-17 11:29
NPU是分时复用的。你说的多线程当然是可以的。

请问现在3399在做运算的时候是只调用了一个CPU吗？我现在的后处理费时，可否用多进程调用多个核以提高整个模型的运算速度呢？

作者: jefferyzhang 时间: 2019-9-18 11:15

gwjjj35 发表于 2019-9-18 11:08
请问现在3399在做运算的时候是只调用了一个CPU吗？我现在的后处理费时，可否用多进程调用多个核以提高整 ...

当然可以。
但是你要知道python的线程是受到GIL限制，无法使用多核的。需要用多进程来实现。

3399有4个小核2个大核，随便你用都是ok的。

作者: gwjjj35 时间: 2019-9-18 11:35
本帖最后由 gwjjj35 于 2019-9-18 11:38 编辑

jefferyzhang 发表于 2019-9-18 11:15
当然可以。
但是你要知道python的线程是受到GIL限制，无法使用多核的。需要用多进程来实现。

谢谢回复。
我想请教一下优化的思路：用time()测试：读图 ~ 7ms，rknn_inference() ~ 55ms，后处理 ~ 70ms，请问您有什么好的方法能提高运算速度呢？
rknn.eval_perf()测试是17ms一张图，time()测试是55ms，应该是数据交互耗时多。

作者: jefferyzhang 时间: 2019-9-20 16:46

gwjjj35 发表于 2019-9-18 11:35
谢谢回复。
我想请教一下优化的思路：用time()测试：读图 ~ 7ms，rknn_inference() ~ 55ms，后处理 ...

应该不至于差这么多，除非你送的数据很大，但是模型input却很小。
你的数据应该要缩小到input尺寸后再给npu

欢迎光临 Toybrick (https://t.rock-chips.com/)