Toybrick»开源社区 › 开源板 › TB-RK3399ProD › 3399Pro多线程多个模型同时推理问题

3399Pro多线程多个模型同时推理问题

自由的学习

积分: 172

楼主

发表于 2024-1-25 09:36:51 查看: 1166|回复: 1 | [复制链接]

| 只看该作者

单个模型推理（不包括前后处理）耗时几毫秒，当多线程下多个不同模型同时推理时，推理耗时就增到两百多毫秒，请问有什么方式规避这种问题，这种速度没法实际应用了

回复

使用道具举报

自由的学习

积分: 172

沙发

楼主| 发表于 2024-1-25 13:07:52 | 只看该作者

已解决，加载模型初始化与推理跨线程会导致推理速度很慢

回复

使用道具举报

返回列表

产品中心 购买渠道 开源社区 Wiki教程 资料下载 关于Toybrick

瑞芯微电子股份有限公司所有闽ICP备19006074号-1 闽公网安备 35010202001061号

快速回复 返回顶部 返回列表