一句话看懂：一篇提交至 alphaXiv 的论文指出，权重归一化训练带来的预训练损失收益，主要来自学习率与参数范数共同决定的有效学习率轨迹，而非归一化本身；作者据此提出按有效学习率设计调度的 AIR 方案，在 128B token 的 MoE 预训练中优于余弦调度。
事件核心：发生了什么
论文对比了两种常见做法：权重归一化（WN，每次更新后固定参数块的范数）和权重衰减（WD）。作者把有效学习率（ELR）定义为名义学习率除以参数块范数，并以此解释两种训练方式的差异。在 WN 下范数固定，ELR 与名义学习率成正比；在 WD 下范数持续变化，即便名义学习率不变，实际有效步长也在变。
实验显示，余弦衰减下 WN 最终优于 WD，而 WSD（预热—稳定—衰减）调度下 WN 反而落后。当在 WD 中复现 WN 的 ELR 轨迹时，两者训练动态趋于一致。据此作者提出 AIR 调度：以理论上导出的 1/√t 衰减为基础，再做仿射调整，以满足设定的峰值和终端学习率。在 110M 激活参数、4.7B 总参数的 MoE 模型、128B token 预训练中，AIR 的终端训练损失约为 1.730，余弦为 1.740。目前公开信息仅基于论文页面，完整实验细节和同行评审状态尚不明确。
为什么重要
大模型预训练中，学习率调度长期依赖经验规则，如余弦或 WSD。这项工作提示，调度真正起作用的对象可能是有效学习率，而不是名义曲线。若结论成立，调参逻辑需要改写：不同优化器、不同权重处理方式下，同一条名义调度并不等价，跨流程迁移超参数时的隐性偏差可以被解释并修正。论文还指出，后期 ELR 调度是收益的关键来源，共同的后期调度会削弱早期学习率选择的影响。
对用户/开发者/创作者的影响
对训练侧开发者，最直接的启发是：在权重归一化训练中，应优先观测和匹配 ELR 轨迹，而非只对比名义学习率；WD 流程与 WN 流程之间做对照实验时，ELR 匹配是更公平的基线。对使用开源框架做微调或继续预训练的团队，这意味着现成的余弦调度未必是当前设置下的最优选择，但 AIR 目前仅是论文方案，尚无公开实现或产品化支持，落地前需自行复现验证。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 AIR 是否开源参考实现，以及在非 MoE、不同规模模型上能否复现约 0.01 的终端损失优势；二是 ELR 匹配结论能否推广到 AdamW 之外、如 Muon 等优化器的主流配置；三是业界训练框架是否开始把有效学习率纳入日志和调度接口。
来源：alphaXiv
