[RFC]: Partial Cache Hits for Hybrid Models

问题场景

在 vLLM 中运行混合架构模型（例如同时包含 Full Attention 和 Mamba 线性注意力层）时触发。纯注意力模型可以使用较小的 KV cache 块大小（例如 16 或 32 个 token），以获得较细粒度的前缀缓存匹配。但当引入 Mamba 层后，Full Attention 的块大小必须与 Mamba 状态块大小对齐，导致有效块大小变得极大（例如 1024 个 token），前缀缓存匹配粒度随之变粗。对于可复用边界不是 Mamba 状态块大小整数倍的提示词（例如多轮对话轮次、工具调用边界、智能体交互痕迹），缓存命中率会显著下降。

报错原文

[RFC]: Partial Cache Hits for Hybrid Models

原因分析

可能原因：vLLM 前缀缓存以块（block）为粒度进行匹配。混合模型要求 Full Attention 的块大小与 Mamba 状态块大小对齐，这导致有效块大小从原来的 16/32 tokens 扩大到几百甚至上千 tokens。缓存匹配粒度随之变粗，使得前缀复用只能发生在粗粒度的块边界上。对于复用边界不对齐的 prompt（如聊天轮次、工具调用边界），前缀命中率下降，进而导致需要从头计算更多 token，降低吞吐并增加延迟。

RFC 提出的解决思路是引入独立的 hash_block_size，将前缀缓存匹配粒度与物理块大小解耦：除完整块外，还允许在请求尾部记录“部分缓存项”（Partial Cache Entry），让后续请求能从部分前缀处命中并续写。注意该方案当前仅为设计讨论，并未在 Issue 中完成代码级验证。

环境排查

• 确认 vLLM 版本是否为最新（RFC 尚未合入，建议关注项目 Release Notes）。
• 确认当前模型是否为混合架构（如包含 Mamba 或线性注意力层），纯注意力模型不受此问题影响。
• 确认当前 KV cache 块大小配置（block_size）与 Mamba 状态块大小之间的关系。
• 如使用异步调度（Async Scheduler）或模型运行器 V2，需要额外关注 Issue 评论中提到的兼容性问题。

解决步骤

1. 首先确认问题场景：若在混合模型下发现前缀缓存命中率异常偏低，可先复现并测量不同 prompt 长度分布下的命中情况。
2. 阅读 RFC 设计内容，明确 hash_block_size 与 block_size 的差异及其运作机制（部分缓存项仅针对请求尾部创建，不会在每个 hash 边界都生成缓存条目）。
3. 评估 Issue 中提出的“调度器切分（scheduler split）”与“同一步复用（same-step reuse）”的取舍——前者无需改动 Attention 后端，更易支持新线性注意力模型。
4. 若关注替代方案，可阅读评论中引用的论文（ACM 链接）了解双层页块管理思路：底层按细粒度 page_size 分配，上层合并为 Attn Block 或 Mamba Block，以保持细粒度缓存命中。
5. 可优先尝试：等待该 RFC 后续实现并合入后，在支持的 vLLM 版本中启用并对比缓存命中率与吞吐变化。目前尚无已验证的代码修改可以直接套用。

验证方法

由于当前改动尚未进入 vLLM 代码主干，验证方法分为两阶段：其一，在现有版本上测量混合模型的前缀缓存命中率与端到端吞吐，记录较低命中率作为基线；其二，待 RFC 实现合入后，在相同负载下开启新机制并对比命中率与吞吐是否提升，并确认新增的 hash_block_size 参数生效（例如通过日志观察 partial cache entry 的注册与命中）。

参考来源

vllm-project/vllm #45702

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。