Toybrick

标题: rkllm大模型多线程推理，推理结果是乱的 [打印本页]

作者: anheidadi 时间: 2025-9-28 09:19
标题: rkllm大模型多线程推理，推理结果是乱的
你好，最近用qwen3模型在rk3588跑，C++上部署推理。单线程跑，推理结果没问题。开两个线程跑推理结果全是乱的，输出全是逗号（模型已经封装成类，创建两个对象来跑两个线程）

模型设置如下

多线程代码如下

可以帮忙看下有什么解决方法吗

作者: jefferyzhang 时间: 2025-9-28 15:13
多线程推理一个大语言模型是出于什么考虑？如果有多线程要求应该自行在推理接口加互斥锁或者信号量才对，推理完才能释放。

欢迎光临 Toybrick (https://t.rock-chips.com/)