标签： LLM

这个 CUDA out of memory 出现在 vLLM 处理 Qwen3.8-Flash-Next 的 PLE 短卷积（short-conv）批量 prefill 时，混合长度请求被按 batch-max query 长度对齐填充，导致激活显存瞬时膨胀。优先排查是否命中该 padding 路径

该报错通常出现在开启上下文压缩（context compaction）后，模型在单次回复中连续执行大量工具调用（tool call）的长任务里。压缩逻辑在两次工具轮次之间按粗略字符数估算对话大小，忽略了提供方每轮返回的真实 token 数，于是阈值永远达不到，最终请求撞上上下文上限。优先排查压缩阈值

当你在 Ollama 里直接运行 Hugging Face 上的 K2 Horizon GGUF（例如 hf.co/IFM/K2-Horizon-3.7B-GGUF:Q4_K_M ）时，底层 llama.cpp 还不认识 k2-horizon 这个新架构，于是 llama-server 加载模型失败

在 Vulkan 后端、RDNA3 显卡（Radeon 7900 XTX）上使用 llama.cpp 处理长提示词（约 5 万 token 级别）时，从 b10780 之后的版本开始出现严重的 prompt processing 速度下降；首要排查点是 b10781 起引入的 scratch buf

这个报错通常出现在 llama-server 以 embedding 模式（如 embeddinggemma / gemma-embedding2 模型）加载时，`--parallel`（即 `n_seq_max`）被设置为非 2 的幂，导致内部矩阵乘法形状不匹配并触发断言。优先排查并调整 `--p