rkllm大模型多线程推理，推理结果是乱的

[复制链接] · 发表于 2025-9-28 09:19:38

你好，最近用qwen3模型在rk3588跑，C++上部署推理。单线程跑，推理结果没问题。开两个线程跑推理结果全是乱的，输出全是逗号（模型已经封装成类，创建两个对象来跑两个线程）

模型设置如下

多线程代码如下

可以帮忙看下有什么解决方法吗

只看该作者 · 发表于 2025-9-28 15:13:21

多线程推理一个大语言模型是出于什么考虑？如果有多线程要求应该自行在推理接口加互斥锁或者信号量才对，推理完才能释放。