一句话看懂：一篇新论文提出 FlatCake，把主机 DRAM 与 NVMe SSD 视为同一地址空间下的对等存储介质来存放 LLM 的 KV 缓存，在特定负载回放中把首 token 延迟压到 Mooncake 的约六成。它值得关注，是因为长会话 Agent 场景正在把缓存容量和 SSD 读取推到关键路径上。
事件核心：发生了什么
据 alphaXiv 收录的论文页面（原始发布时间 2026 年 10 月 28 日），研究团队提出 FlatCake。传统做法把主机 DRAM 当 GPU 与 SSD 之间的中间缓存，而论文认为生产负载打破了这个前提：要么大量只用一次、复用间隔很长的块让 DRAM 缓存过滤失效，要么多 GB 级别的 Agent 会话直接超出 DRAM 容量，使 SSD 进入读取关键路径。FlatCake 在 KV 块创建时就按会话连续、层优先的顺序直接写入 DRAM 或 SSD，此后不再迁移，并通过 GPUDirect Storage 把 SSD 读取合并后流式送入 GPU，同时拆分 DRAM 与 SSD 请求队列，避免相互阻塞。
在 DeepSeek-V4-Flash 上回放 Claude Code 生产 trace、到达率 1.0 QPS 时，FlatCake 平均 TTFT 为 7.57 秒，Mooncake 为 12.24 秒；总吞吐 98.3K 对 61.6K tokens/s，实际送达缓存命中率 94.16% 对 64.26%。在 Llama-3.1-70B 的 8K–128K 上下文测试中，平均 TTFT 相对 Mooncake 最高降低 2.4 倍。以上均为论文摘要层面的结果，尚需同行评审与更多负载验证。
为什么重要
长会话编码 Agent 的 KV 缓存可达数十 GB，GPU 显存和主机 DRAM 都装不下完整历史，SSD 因此从“冷备份”变成每次请求都可能访问的部件。FlatCake 的思路不是放弃缓存复用，而是拆掉“必须经过 DRAM 中转”这一层，把存储布局与读取路径一起重做。若结论成立，它会影响推理服务的缓存架构设计，也意味着 Mooncake 这类以 KV 池化为核心的系统仍有优化空间。
对用户/开发者/创作者的影响
对开发者而言，更低的 TTFT 和高负载下更稳的缓存命中率，直接关系到 Agent 应用的响应体验与单位 token 成本；对自建推理服务的企业，存储介质如何分层、SSD 是否走 GPUDirect 路径，会成为采购与部署时要重新评估的变量。对普通用户和创作者，感知更多体现在长对话和复杂任务中的等待时间缩短，而非新功能上线。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该架构是否进入开源推理框架或云厂商的推理服务，而非停留在论文；二是论文数据能否在更多模型、更多真实 trace 上复现；三是 Mooncake 等竞品是否跟进类似的扁平化存储设计。目前公开信息仅限论文摘要与页面介绍，不宜视为已上线产品。
来源：alphaXiv
