Eval bug: Trapped into garbled “/” loop with a specific conversation

问题场景

在 WebUI 中使用 llama.cpp 加载任意 qwen35 架构模型（例如 qwen3.6 35B A3B）并加载 mmproj 文件。用户对 “B” 提示词不做修改直接编辑、提交，模型开始推理；停止推理后，点击重新生成图标一次或多次，推理内容会崩坏成无限的 “///” 循环，直到模型被卸载。触发条件还包括：首个提示中含有 “A” 和一张图片（图片可替换），系统提示为空，WebUI 中未启用任何工具。

报错原文

Eval bug: Trapped into garbled "/" loop with a specific conversation

$ ./llama-cli --version
version: 10040 (c7d872292)
built with GNU 11.4.0 for Linux x86_64

0.02.762.150 W srv    operator(): (CORS) skip non-localhost origin:
0.02.762.317 I srv  ensure_model: model name=TMP-Qwen3.6-35B-A3B-Original is not loaded, loading...
0.02.762.387 I srv          load: spawning server instance with name=TMP-Qwen3.6-35B-A3B-Original on port 55251

原因分析

可能原因是 llama.cpp 在 b10040 提交中引入了针对 qwen35 架构与 mmproj 组合处理的回归。报告者通过二分定位确认 b10038 工作正常，b10040 为 first bad commit。另一名用户报告了相似症状：加载 Qwen3.6 35B A3B 并附带 mmproj 时，即使不上传图片，输出质量也会下降，CoT 循环、幻觉增多、工具调用异常、语法错误，而不加载 mmproj 时问题消失，这进一步指向 mmproj 加载路径与 qwen35 架构配合时存在缺陷。具体是评测逻辑、KV cache 还是 prompt 缓存处理导致循环，Issue 中未给出明确结论。

环境排查

• 确认 llama.cpp 版本是否为 b10040 或附近版本，可执行 ./llama-cli --version 查看版本号与 commit。
• 确认是否加载了 mmproj 文件；尝试不加载 mmproj 对比行为。
• 确认模型是否为 qwen35 架构（如 qwen3.6 35B A3B）。
• 确认后端是否为 HIP，显卡为 AMD RYZEN AI MAX+ 395。
• 确认系统提示为空、未启用工具、WebUI 中是否包含图片输入。
• 确认是否可以回退到 b10038 进行对照测试。

解决步骤

1. 记录当前 llama.cpp 版本，执行 ./llama-cli --version 确认是否为 10040 (c7d872292)。
2. 可优先尝试回退到 b10038 版本，重新执行相同的对话编辑与重新生成步骤，观察是否仍出现 “///” 循环。
3. 若回退后问题消失，可初步确认 b10040 为触发版本。
4. 在不加载 mmproj 的情况下加载同一 qwen35 模型，执行相同操作，对比输出是否恢复正常，以判断 mmproj 是否为必要条件。
5. 若需继续使用 b10040，暂时避免该特定对话编辑与重新生成组合，或等待上游修复。

验证方法

在回退到 b10038 或不加载 mmproj 后，按原步骤重新操作：编辑 “B” 提示词并提交、停止推理、点击重新生成一次或多次。若不再出现无限 “///” 循环，且模型推理内容正常结束，则说明已绕开该问题。若仍在 b10040 中复现，则问题未解决。

参考来源

ggml-org/llama.cpp #26215

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。