标签： LLM

该报错 GGML_ASSERT(n_inputs 通常在使用大上下文（如 -c 65536 ）加载 DeepSeek-V4-Flash GGUF 模型时触发，优先排查当前 llama.cpp 版本是否合并了 PR #25585（首次坏提交 0dc74e332）。

Misc. bug: brutally bad SYCL performance on Battlemage。在 Intel Battlemage 显卡（B50/B70）上使用 llama.cpp SYCL 后端运行推理时，token 生成速度仅约 13 t/s（接近 CPU 水平），而 Vulka

本报错发生在使用 llama-bench 对 DeepSeek V4 模型进行 token 生成基准测试时，特别是在使用 Metal 或 CUDA 后端并启用 flash attention（ -fa 1 ）的情况下。报错 Misc. bug: llama_bench error: failed t

模型在 Agent V2 页面被标记为 Incompatible ，尽管同一 API 端点在 Dify 外部能正常处理 OpenAI 兼容工具调用。优先排查模型名称是否匹配了前端硬编码的屏蔽列表（如 qwen3.5 开头）。 核心英文报错： The same endpoint successfull

该报错出现在 vLLM 0.23.1rc1 及更早版本，使用 NVIDIA B200（Blackwell）GPU，在 MLA prefilling context-chunk 路径下调用 FA4 CuTe 内核时，因输出张量 mO 的 strides[0] 被静态编译导致形状不匹配。优先升级 vLL

该报错通常发生在使用 vLLM 部署 DeepSeek-V3.2 并启用 FlashMLA 稀疏注意力后端时，密集 MHA 分路（来自 #47327）未正确适配稀疏后端的索引转换和缓存布局，导致越界写入或 dtype 不匹配。

该“Eval bug: Llama-server on Mac starting at b5478 only producing 2-3 streaming tokens on Qwen3 and Deepseek R1 0528”现象并非 llama.cpp 本身的推理错误，而是从 b5478 版

在 router 模式下，模型名称包含斜杠（如 ggml-org/...::model ）会导致对话 ID 在路径参数中被截断，进而使“停止生成”失效、页面刷新后文本丢失、侧边栏状态消失。优先检查模型名称是否包含斜杠，并应用对应修复补丁（commit 8bc2246 ）。