本地和开发板部署 DeepSeek-R1 和 Janus-Pro

erquren 发表于 2025-2-6 14:30
text = PROMPT_TEXT_PREFIX + input_str + PROMPT_TEXT_POSTFIX;  就这个改成
text = input_str; 其他没 ...

发现提示词在llm.cpp里也有，去掉了，现在好很多

erquren 发表于 2025-2-6 14:30
text = PROMPT_TEXT_PREFIX + input_str + PROMPT_TEXT_POSTFIX;  就这个改成
text = input_str; 其他没 ...

当然没有，你可以用我刚更新的代码去测试，自己代码走读一遍，开头就喂了场景提示词，除了注释掉这里还有开头的。

请问，param.max_context_len = 128000; 这个是设置上下文长度的么？官方的git上显示都是320个tokens？所以上下文最终能支持到多少？另外，有支持返回词嵌入后的向量结果么？这样用来搜索知识库会有很多的玩法

python_packe 发表于 2025-2-8 23:00
请问，param.max_context_len = 128000; 这个是设置上下文长度的么？官方的git上显示都是320个tokens？所以 ...

官网不是写 128K 么？

测试用的QWEN1.5B ，换了几种量化数据集都喜欢胡言乱语，我的问题短的话，他会自动补一段，然后回答那一段的数据
https://gist.github.com/erquren/3c895e030e82b7a5ff672cb44af3aa1b

erquren 发表于 2025-2-10 11:08
测试用的QWEN1.5B ，换了几种量化数据集都喜欢胡言乱语，我的问题短的话，他会自动补一段，然后回答那一段 ...

1. 对比原始模型1.5b和量化后1.5b运行结果。
如果不一致，说明就是量化失效，你应该把有问题的数据放进量化脚本里一起量化。
2. 按llama新增角色提示词，效果会好很多。本文教程已经更新过了，你可以按新的试试

jefferyzhang 发表于 2025-2-10 08:49
官网不是写 128K 么？

感谢回复，这下我知道了