一句话看懂：alphaXiv 上的一篇新论文提出 MGVR，把 Transformer 中“是否借用第一层 Value”变成每个 token、每个 KV 头自己决定，在不改动注意力内核的前提下，实测最多节省约 16%–22% 训练步数。
事件核心：发生了什么
2026 年 10 月 12 日，alphaXiv 收录了一篇题为《Identity on Demand: Multi-Head Gated Value Residuals》的论文。作者指出，Transformer 后续层若想复制某个 token 或用它做查表，往往得从不断被写入的残差流里重新找回该 token 的身份信息。此前 ResFormer 的做法是给每个后续层固定或按层学习一个比例，直接混入第一层的 Value。MGVR 把这个比例改成动态选择：每一层用当前归一化后的输入，为每个 KV 头生成一个 0 到 2 之间的门控值，以及一行针对第一层 Value 各头的混合权重，再把混合后的“锚点”加到自己的 Value 上。论文摘要显示，该方法仅增加 0.2% 活跃参数，注意力内核和 KV cache 大小不变，初始化时等价于 λ=0.5 的 ResFormer。
为什么重要
大模型训练中，注意力机制本身的计算模式近年来变化不大，更多改进集中在数据、规模和后训练。MGVR 的价值在于：它不动注意力内核，不扩大 KV cache，只在 Value 路径上增加极小参数，却让后续层按 token 需求取用首层信息。在 1B token 的受控预训练对比中，20 层、96M 活跃参数的测试模型上，MGVR 从第 200 步起比基线少用 16%–22% 的步数达到相同 held-out loss，计入 4.3% 单步时间开销后约等于 1.15–1.23 倍有效算力，最终 loss 低 0.050 nats。合成实验中，归纳头形成更快，从注意力模式到准确复制的时间缩短 40%，两跳联想召回比 Transformer 快 25%–49%。
对用户/开发者/创作者的影响
目前公开信息显示，这仍是论文阶段的训练方法，不是可直接调用的 API 或已上线产品。对训练侧开发者而言，它提供了一条低侵入的改造思路：旧模型结构基本保留，只需在 Value 投影旁加两个小投影，便可挂接首层 Value。若后续在更大模型和真实数据上复现，可能意味着同等算力下更短的训练周期，或同一步数下更低的 loss。对推理和部署侧，KV cache 不变意味着不会直接推高显存占用；对应用层用户，短期内不会改变模型调用体验。真正的门槛在于工程复现和规模化验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，是否有开源实现或主流训练框架集成 MGVR，让开发者可以低成本复现；第二，在更大参数规模、更长上下文和真实预训练数据上，16%–22% 的步数节省是否仍然成立；第三，ResFormer 等静态 Value 残差方案是否会跟进 token 级门控路线，以及推理阶段能否把这部分收益转化为更低成本。
来源：alphaXiv
