标签： LLM

该报错通常出现在用 llama.cpp / llama-server / llama-cli 加载 K2-Horizon 系列 GGUF 模型时，因为当前 llama.cpp 主仓库不识别 k2-horizon 这一模型架构，导致加载直接失败。优先排查你使用的 llama.cpp 版本是否已包含 K

该报错出现在 vLLM 的 NIXL P/D 部署中启用 HiSparse（decode 端 KV connector）并让导入的前缀持续落到 pinned host pool 时，decode engine 会抛出 sticky 的 CUDA error: unspecified launch f

在 ROCm/HIP 后端构建的 llama.cpp 上运行 llama-perplexity 或正常推理时，从 b10040 起出现严重的 PPL 暴涨（PPL 从约 7.7 恶化到数千），表现为模型输出质量骤降、上下文理解变差、工具调用失败；优先排查是否为 b10040 之后的 ROCm 回归，

该问题通常出现在 vLLM 使用 ngram 推测解码（speculative decoding）、对 Qwen3 级别模型发起带 tools/tool_choice 的请求、且启用结构化输出（tool-call）时，表现为约一半请求的工具调用输出被污染（出现 << 、 parameter=para