Toybrick

请问RKNN有并行加载模型的方法吗?

newneu

新手上路

积分
43
发表于 2020-9-28 11:09:12    查看: 5857|回复: 4 | [复制链接]    打印 | 显示全部楼层
我们的项目需要使用7个NPU(1个3399pro自带+6个1808S0),每个NPU加载3个模型。当前加载时间得30多秒
回复

使用道具 举报

jefferyzhang

版主

积分
12844
发表于 2020-9-28 11:17:06 | 显示全部楼层
7个你开7个线程不就好了
回复

使用道具 举报

newneu

新手上路

积分
43
 楼主| 发表于 2020-9-28 13:19:33 | 显示全部楼层
开7个线程后,模型仍然是串行加载的,没有并行起来。
回复

使用道具 举报

whx_huxin

注册会员

积分
115
发表于 2020-9-28 14:19:46 | 显示全部楼层
YOLOV3 416模型加载确实比较慢,需要30多秒,这一块相比其他芯片有待改进
回复

使用道具 举报

brunolin

高级会员

积分
611
发表于 2020-9-29 10:18:58 | 显示全部楼层
whx_huxin 发表于 2020-9-28 14:19
YOLOV3 416模型加载确实比较慢,需要30多秒,这一块相比其他芯片有待改进

應該不用這麼久,模型轉出時有預編譯(Precompile)嗎?
預編譯的模型可以加快載入速度
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表