一句话看懂：一项新研究指出，Muon 在预训练阶段常比 AdamW 损失更低，但当预训练数据预算足够大后，微调后的表现反而被 AdamW 反超；这个转折点还会随模型变大而前移。
事件核心：发生了什么
alphaXiv 收录的论文《Pretraining Data Scale Reverses the Muon-AdamW Fine-Tuning Gap》比较了 Muon 和 AdamW 两种预训练优化器在微调阶段的表现。作者用 OLMo 风格的 30M 到 600M 参数模型，在 GSM8K、StackMathQA、Alpaca、MusicPile 四个微调数据集上测试，并把“微调后学到新任务”和“不遗忘预训练数据”做成权衡前沿。
结果出现反转：在较小的预训练数据量下，Muon 预训练的模型微调前沿更靠前；超过某个“每参数预训练 token 数”（TPR）阈值后，AdamW 预训练模型反超。以 StackMathQA 为例，最低预训练损失设定下，30M 模型的交叉点约为 320 TPR，600M 模型降到约 10 TPR。不过作者明确表示，这是示例而非通用阈值，不同任务和模型规模的交叉点不同。
目前公开信息显示，这一结论来自论文摘要与 alphaXiv 的概述，实验结果限定在上述模型规模、任务和评测方式内，尚不宜外推为所有大模型训练场景的固定排名。
为什么重要
优化器选择通常被简化为“谁的预训练损失更低用谁”。这项研究提醒，预训练阶段的领先不一定能延续到下游微调：Muon 在预训练损失上占优，未必是更好的“微调起点”。对训练成本敏感的大模型团队，优化器选型和数据预算需要放在同一张表里评估，而不是只看预训练曲线。
对用户/开发者/创作者的影响
对开发者和企业训练团队而言，实际含义是：小数据量、小模型实验里表现好的优化器，在放大数据和模型后可能失去优势。做微调、蒸馏或垂直领域适配时，应同时监控“新任务学习效果”和“预训练能力遗忘”，别用单一预训练 loss 做决策。对普通 AI 应用用户，短期没有直接可见变化；这类研究更多影响上游基础模型的训练效率和最终微调质量。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是更大参数规模（如十亿级以上）是否呈现同样反转，目前公开信息仅覆盖 30M 至 600M。二是除语言模型外，图像、多模态模型的预训练与微调是否也有类似现象。三是作者提出的“margin-to-spread ratio”解释能否被独立实验验证；若成立，可能影响未来优化器设计与训练配方。
来源：alphaXiv
