标签： LLM

这属于 vLLM 的 RFC/设计讨论，不是普通的运行时报错。核心议题是 [RFC]: Model customized KVCache Planning，也就是把 KV Cache 的分组与规划从核心层下放到模型层，以适配 DeepSeek-V4 这类包含多种 Attention 类型的模型。优先

这个报错通常发生在 RAGFlow 中新增或保存 MinerU 模型实例、并点击验证或保存时，前端把 MinerU 的 api_key 作为 JSON 对象提交，而后端 Go 层按字符串绑定，导致类型不匹配而失败。优先排查前端提交的 MinerU 实例 payload 结构。

当你在 llama.cpp 的 Vulkan 后端上用两块 GPU 跑 --split-mode layer 时，如果出现 token 生成速度比旧版本慢 2-4 倍（提示处理基本正常），通常与 #29741 引入的多设备访问 GPU 可见主机内存的行为有关；可优先排查/升级到包含 #30468 的

这个报错通常出现在 vLLM 0.24.0 于 Blackwell SM120（compute capability 12.0）显卡上加载 DeepSeek / Qwen 类模型并启用 CUDA graphs 时，属于 allocator 与 custom all-reduce 图捕获注册路径不兼容

这个报错通常出现在 vLLM 的 scale-out token 路径上，也就是走 render → /inference/v1/generate → derender 这条链路时：客户端传入的 stop 字符串或 stop_token_ids 没有在 derender 侧被截断，stop 文本会泄