清华开源 AKV：用缓存工程替代摘要压缩，Agent 平均成本降 27.7%

一句话看懂：清华大学等机构于 2026 年 10 月开源 AKV，一个基于 SGLang 的 KV 缓存工程服务系统。它让 LLM Agent 直接丢弃部分 KV 缓存条目并复用其余部分，从而避免文本摘要带来的重算成本。在 3 个模型和 4 个 Agent 基准上，平均成本较阈值摘要方案下降 27.7%。

事件核心：发生了什么

据 MarkTechPost 报道，清华大学与香港中文大学研究人员开源了 AKV，采用 Apache-2.0 许可，构建在 SGLang 之上，不涉及模型权重。它在 GPT-OSS-120B、MiniMax-M2.7 和 MiroThinker-1.7-Mini 上完成测试。与“文本工程”式摘要不同，AKV 不改动文本轨迹，只改变哪些 KV 条目继续参与注意力计算：新增的标准追加、丢弃选定条目、以及通过 RoPE 旋转把保留键重排到连续位置。保留条目可直接复用，无需重新预填充。

为什么重要

论文的成本分析显示，KV 缓存读取约占总 API 成本的 82.4%。上下文工程通过压缩文本来降费，但会破坏前缀、触发后续状态重新预填充，细节也容易在中段丢失。AKV 把优化点放到缓存层，为 Agent 长任务提供了一条更精细的成本控制路径，也让推理框架的调度和缓存管理成为竞争焦点。目前公开信息显示，这仍是研究项目与开源代码，而非已商业化的托管服务。

对用户/开发者/创作者的影响

对开发者而言，AKV 提供 OpenAI 兼容的无状态接口，通过 drop_message 与 reposition 字段控制缓存，并内置基于轮次、token 或模型的 CachePolicy，模型也可调用 drop_context 自行丢弃上下文。部署上依赖 NVIDIA GPU，快速启动示例用 2 卡张量并行服务 GPT-OSS-120B。若后续在 SGLang 生态中稳定落地，长上下文 Agent 应用的推理账单和 P95 延迟都有望改善；但迁移前需按自身任务验证效果。