标签： LLM

该报错通常发生在使用 vLLM 部署 DeepSeek-V3.2 并启用 FlashMLA 稀疏注意力后端时，密集 MHA 分路（来自 #47327）未正确适配稀疏后端的索引转换和缓存布局，导致越界写入或 dtype 不匹配。

该“Eval bug: Llama-server on Mac starting at b5478 only producing 2-3 streaming tokens on Qwen3 and Deepseek R1 0528”现象并非 llama.cpp 本身的推理错误，而是从 b5478 版

在 router 模式下，模型名称包含斜杠（如 ggml-org/...::model ）会导致对话 ID 在路径参数中被截断，进而使“停止生成”失效、页面刷新后文本丢失、侧边栏状态消失。优先检查模型名称是否包含斜杠，并应用对应修复补丁（commit 8bc2246 ）。

此报错发生在使用 --n-cpu-moe CPU 卸载配合 --no-mmap --mlock （或等价的 --load-mode mlock ）时，因 --load-mode 重构 #20834 导致 mlock 强制隐含 mmap ，引发双缓冲 OOM 或 --load-mode none 下无

该报错发生在 vLLM 使用 OffloadingConnector P2P 辅助层且大量请求反复连接/断开同一对等节点（peer）时，因会话清理与传输层连接清理时序不一致，导致 ZmqConnection 仍注册在 _connections 中，触发断言 AssertionError: ZmqCo