Toybrick

标题: 3399Pro多线程多个模型同时推理问题 [打印本页]

作者: 自由的学习 时间: 2024-1-25 09:36
标题: 3399Pro多线程多个模型同时推理问题
单个模型推理（不包括前后处理）耗时几毫秒，当多线程下多个不同模型同时推理时，推理耗时就增到两百多毫秒，请问有什么方式规避这种问题，这种速度没法实际应用了

作者: 自由的学习 时间: 2024-1-25 13:07
已解决，加载模型初始化与推理跨线程会导致推理速度很慢

欢迎光临 Toybrick (https://t.rock-chips.com/)