标签： LLM

该报错发生在 llama.cpp 新版本中启用 MTP（Multi-Token Prediction）头部加载 Gemma 4、Qwen 等模型时，模型加载阶段因资源分配或参数断言失败而崩溃。优先排查 llama.cpp 构建版本是否包含修复提交 73159c3（PR #28183），并尝试更新到该

llama-server 在 token 生成（decode）阶段出现 CPU 占用高、GPU 占用低的现象，通常不是 bug，而是模型加上下文所需显存超出显卡 VRAM 容量，导致权重或 KV Cache 溢出到系统内存所致。优先排查启动日志中模型权重的加载位置，并尝试降低上下文长度（-c）使模型

该报错发生在 vLLM 使用 NVIDIA DeepSeek-V3.2 或 GLM-5.2 模型并开启纯 DCP（Decode Context Parallelism，TP4+DCP4）时，fused attention 路径绕过 DCP 处理导致输出为重复乱码（如 locklocklock...

该问题发生在 llama.cpp Vulkan 后端加载包含 Gated DeltaNet（GDN）架构的 Qwen3-Next 模型时，在 AMD Radeon 780M（gfx1103）上进程会卡死在模型张量加载阶段，永远无法输出 llama_server: listening 。优先排查方向是

该报错发生在启用 MTP（Multi-Token Prediction）且开启 --fit 内存估算功能时，llama.cpp 服务端在启动阶段就会崩溃，报错文案为 Eval bug: MTP with fit causes crash 。优先排查方向是关闭 --fit 选项或升级到更高版本。