标签： LLM

该报错发生在 llama.cpp 服务器同时启用 --fit on 与 --sleep-idle-seconds 时，模型每次从休眠唤醒都会重新执行显存拟合逻辑，但 tensor buffer 覆盖参数已在首次加载时被写入，导致重复设置冲突。优先排查方法是暂时关闭 --fit 并固定 --ctx-s

该报错发生在 NVIDIA Jetson Thor（SM110a）上使用 vLLM 0.26.1rc1 及之后 nightly 镜像，对带 MTP 投机解码的 GDN 模型（如 Qwen3.8-27B-NVFP4）进行首次 decode 时。优先排查 vLLM 构建是否已包含 #53835 修复（向

该报错发生在模型输出被 Open WebUI 误解析为工具调用时，工具名称为空（None）导致字符串拼接崩溃。优先排查上游模型服务（sglang 自定义构建）是否输出了畸形/损坏的工具调用字段，而不是 Open WebUI 的解析逻辑。

这个报错发生在 llama.cpp 通过 RPC 将模型拆分为 2 个及以上 worker 并行推理时，调度器把带有 compute 标记的视图（view）分配给不拥有其底层缓冲区的远程 worker。优先升级到包含 PR #26500 的最新 master 版本，该修复已确认可解决此问题。

该问题发生在 llama.cpp 移除 rocWMMA FlashAttention 内核后，RDNA4（gfx1201）显卡在深度上下文（深 KV cache）下进行 prompt processing 时性能严重回退，最深可达近 50% 的降速。优先排查你的模型注意力头维度是否为 256（这是受