一句话看懂：近日一篇发表于 Hugging Face Papers 的论文提出 DepthGraft，通过分层跨层 KV 重建来缓解 Pre-LN 大模型的深度信息稀释问题，并在 0.5B–16B 的稠密与 MoE 模型上报告了评测提升，同时将 KV cache 减少约三分之一。
事件核心：发生了什么
根据论文摘要（2026 年 11 月 2 日发布），DepthGraft 重新审视跨层 KV 共享：每次 KV 复用不仅压缩缓存，还会为深层到源 KV 投影建立直接梯度路径，从而形成隐式的结构正则化。作者系统分析后认为，相邻层或全局锚点式共享未充分利用这一效应，因此提出分层共享架构，用步长对齐的浅层－中层源对重建深层 KV。摘要显示，在 GQA 与 MLA 两种注意力配置下，0.5B 到 16B 参数的稠密模型和 MoE 模型均有一致性下游提升；其中 16B MoE 模型在 MMLU-Pro 上绝对提升 7.0%，CMMLU 提升 6.6%，C3 提升 6.4%。项目页已公开在 GitHub。
为什么重要
大模型扩容常靠增加深度，但 Pre-LN 结构容易出现逐层信息稀释，深层参数利用率受限。现有跨层连接方案往往带来额外计算或访存开销。DepthGraft 的价值在于把“KV 共享”从单纯的推理缓存优化，扩展为训练阶段的结构正则化手段：不新增明显计算，却让深层获得更分散的梯度流，并顺带降低 KV cache。对大规模预训练而言，这提供了一条兼顾效果与效率的架构思路。
对用户/开发者/创作者的影响
目前公开信息仅为论文摘要，尚不能认定已有可直接调用的 API 或成熟产品。对开发者，若后续开源实现可用，分层 KV 共享可能降低长上下文推理的显存压力，并在同等参数规模下改善多语言与知识类任务表现；对训练团队，这一设计可能影响预训练架构选型与缓存策略；对普通用户和创作者，短期影响有限，更可能体现在未来模型的服务成本与响应能力上，而非立刻可见的功能变化。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 GitHub 项目页是否放出完整训练代码与权重，决定社区能否复现；二是评测结论是否经过独立验证，尤其 16B MoE 的提升能否在更多任务与更长上下文下保持；三是 MLA 与 GQA 的实际部署开销是否如摘要所述可控，以及是否有闭源模型厂商跟进类似的分层 KV 共享设计。
