一句话看懂：美国阿贡国家实验室在 arXiv 发布预印本，提出 KV 缓存管理器 WAKMan，可根据正在发生的请求流量自动切换淘汰策略，无需预先知道请求类型。对运行大模型推理服务的团队来说，这意味着缓存命中率可能更容易稳定在高位。
事件核心：发生了什么
arXiv 于 2026 年 10 月 28 日公开的预印本（编号 2610.36355）介绍了 WAKMan。论文指出，前缀缓存的收益高度依赖 KV 缓存淘汰策略，但实际生产流量往往混有单轮对话、多轮对话、Agent 多步调用等类型。摘要给出的观察是：Agent 类请求通常在数秒内回访，更偏好“最近使用优先”；而热门提示词和长对话则要隔很多请求才回来，更偏好“使用频率优先”。
作者测试了 20 种流量组合，没有一种固定策略全程最优：vLLM 默认的 LRU 在 Agent 密集场景下缓存命中率比面向频率的 S3FIFO 高 12%，但在其他场景下最多落后 22%；甚至单个工作负载参数的改变，就能让某一组合下的优胜策略翻转。
WAKMan 的做法是不读取提示词内容、也不识别请求类型，只根据实时流量选择淘汰策略。摘要称其命中率平均比 LRU 高 5 个百分点，在均值和最差情况下的最优性差距均为所比较策略中最小。以上数据均出自论文摘要，完整实验尚未核验。
为什么重要
前缀缓存是压低大模型推理成本和首字延迟的常用手段，而 KV 缓存空间有限，淘汰策略直接决定能省下多少重复的 prefill 计算。此前实践多采用单一默认策略，WAKMan 提示了一条更细的路线：在同一套推理服务内，按流量结构动态调整缓存管理，而不是靠事先选型。对于同时承载聊天、编程助手和 Agent 调用的服务商，这有现实意义。不过，该方法目前仍是研究阶段的工作，论文没有说明是否已合入 vLLM 等开源推理框架。
对用户/开发者/创作者的影响
对普通用户，这类优化不会带来可见的新功能，但若被推理平台采用，可能表现为高峰期响应更稳、单位 token 成本下降。对开发者，尤其是自建 vLLM 服务的团队，WAKMan 的价值在于提醒：缓存策略应结合真实流量组合评估，而不是照搬默认的 LRU。对使用 Agent 工作流的开发者，摘要显示其请求回访快、偏好近期缓存，这与长对话场景的需求相反，混部时更值得关注策略切换能力。目前公开信息显示，该方案尚未以插件或 API 形式提供。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 WAKMan 是否开源实现、是否会进入 vLLM 等主流推理框架的调度层；二是论文全文的实验规模、基线是否公平，以及 20 种流量组合之外的表现；三是生产环境引入动态策略后，切换开销与缓存抖动是否可控。
来源：arXiv cs.AI
