Toybrick

标题: 请问RKNN有并行加载模型的方法吗？ [打印本页]

作者: newneu 时间: 2020-9-28 11:09
标题: 请问RKNN有并行加载模型的方法吗？
我们的项目需要使用7个NPU（1个3399pro自带+6个1808S0），每个NPU加载3个模型。当前加载时间得30多秒

作者: jefferyzhang 时间: 2020-9-28 11:17
7个你开7个线程不就好了

作者: newneu 时间: 2020-9-28 13:19
开7个线程后，模型仍然是串行加载的，没有并行起来。

作者: whx_huxin 时间: 2020-9-28 14:19
YOLOV3 416模型加载确实比较慢，需要30多秒，这一块相比其他芯片有待改进

作者: brunolin 时间: 2020-9-29 10:18

whx_huxin 发表于 2020-9-28 14:19
YOLOV3 416模型加载确实比较慢，需要30多秒，这一块相比其他芯片有待改进

應該不用這麼久，模型轉出時有預編譯(Precompile)嗎?
預編譯的模型可以加快載入速度

欢迎光临 Toybrick (https://t.rock-chips.com/)