celebrityanime

这是在 Vulkan 后端、多 GPU（Vulkan0,Vulkan1）+ --cpu-moe 运行多专家（MoE）模型时出现的提示处理/预填充性能回退：升级到包含提交 e0bcaccb 的构建后，prefill 从大约 95 tk/s 降到大约 4 tk/s，两块 GPU 的占用都上不去。优先排查

当 Vulkan 后端同时枚举到多个 GPU、并使用大上下文（如 -c 196608）配合投机解码（ngram-map / draft-mtp）时，自 e0bcacc 起 decode 吞吐量可能下降约 3 倍，而 draft 接受率不变。优先确认是否处于多 Vulkan 设备可见状态，以及构建是否

这属于 vLLM 的 RFC/设计讨论，不是普通的运行时报错。核心议题是 [RFC]: Model customized KVCache Planning，也就是把 KV Cache 的分组与规划从核心层下放到模型层，以适配 DeepSeek-V4 这类包含多种 Attention 类型的模型。优先