分类： AI 工具排错

这个报错通常发生在 llama.cpp 加载模型（尤其是加载目标模型后再加载投机解码 draft 模型）时，某块 CUDA 设备通过 cudaMemGetInfo 报告 free == 0 ，导致 tensor split 归一化时出现除零、产生 NaN，最终把层分配到不存在的设备索引上。优先排查显

这个报错通常出现在 llama.cpp 先加载已占满显存的目标模型、再加载 draft（草稿）模型做投机解码时；底层原因是显存空闲量读到 0，导致 splits 归一出 NaN， devices.at() 越界。优先排查目标模型是否已经把显卡显存吃满，并尝试用 -ts 1 绕过按空闲显存切分的代码路

这个 CUDA out of memory 出现在 vLLM 处理 Qwen3.8-Flash-Next 的 PLE 短卷积（short-conv）批量 prefill 时，混合长度请求被按 batch-max query 长度对齐填充，导致激活显存瞬时膨胀。优先排查是否命中该 padding 路径

该报错通常出现在开启上下文压缩（context compaction）后，模型在单次回复中连续执行大量工具调用（tool call）的长任务里。压缩逻辑在两次工具轮次之间按粗略字符数估算对话大小，忽略了提供方每轮返回的真实 token 数，于是阈值永远达不到，最终请求撞上上下文上限。优先排查压缩阈值