标签： LLM

该“Eval bug: Llama-server on Mac starting at b5478 only producing 2-3 streaming tokens on Qwen3 and Deepseek R1 0528”现象并非 llama.cpp 本身的推理错误，而是从 b5478 版

在 router 模式下，模型名称包含斜杠（如 ggml-org/...::model ）会导致对话 ID 在路径参数中被截断，进而使“停止生成”失效、页面刷新后文本丢失、侧边栏状态消失。优先检查模型名称是否包含斜杠，并应用对应修复补丁（commit 8bc2246 ）。

此报错发生在使用 --n-cpu-moe CPU 卸载配合 --no-mmap --mlock （或等价的 --load-mode mlock ）时，因 --load-mode 重构 #20834 导致 mlock 强制隐含 mmap ，引发双缓冲 OOM 或 --load-mode none 下无

该报错发生在 vLLM 使用 OffloadingConnector P2P 辅助层且大量请求反复连接/断开同一对等节点（peer）时，因会话清理与传输层连接清理时序不一致，导致 ZmqConnection 仍注册在 _connections 中，触发断言 AssertionError: ZmqCo

该报错发生在 RAGFlow 创建空文档（或未解析文档）后，点击查看 Chunks 页面时，由于 Elasticsearch 索引尚未创建，返回 NotFoundError(404, 'index_not_found_exception') 。优先检查文档是否已完成解析，或确认知识库对应的 ES 索