Toybrick

3399Pro多线程多个模型同时推理问题

自由的学习

注册会员

积分
172
发表于 2024-1-25 09:36:51    查看: 2403|回复: 1 | [复制链接]    打印 | 显示全部楼层
单个模型推理(不包括前后处理)耗时几毫秒,当多线程下多个不同模型同时推理时,推理耗时就增到两百多毫秒,请问有什么方式规避这种问题,这种速度没法实际应用了
回复

使用道具 举报

自由的学习

注册会员

积分
172
 楼主| 发表于 2024-1-25 13:07:52 | 显示全部楼层
已解决,加载模型初始化与推理跨线程会导致推理速度很慢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick


快速回复 返回顶部 返回列表