一句话看懂：Hugging Face Papers 收录的论文提出 Muon-RT，在 LLM 自蒸馏中复用 EMA 教师与学生的位移替代独立动量缓冲区，据摘要称在 Qwen2.5-7B 与 Olmo-3-7B 上提升准确率并降低持续训练内存。
事件核心：发生了什么
根据论文摘要，Muon-RT（Muon with Reused Teacher）面向使用指数移动平均（EMA）教师的大模型自蒸馏场景。这类方法本身已保留学生更新历史，但 Muon 优化器仍另存一份动量缓冲区，持续占用训练内存。Muon-RT 的做法是：用教师与学生的参数位移充当动量信号，去掉隐藏权重矩阵对应的动量缓冲；再对该位移去径向分量、做谱归一化，并在 Newton-Schulz 正交化后与当前梯度混合。作者还给出了在特定正则性与对齐假设下的收敛性分析。摘要中的实验显示：在 Qwen2.5-7B-Instruct 上用 SDFT，平均准确率较 AdamW 高 2.6 分、持续内存少 42%；较带动量的 Muon 高 5.4 分、内存少 27%。在 Olmo-3-7B-Instruct 上用 SDPO，较 AdamW 高 2.0 分。以上均为摘要口径，全文实验细节尚未核验。
为什么重要
大模型训练与自蒸馏的成本瓶颈不只在算力，也在显存与优化器状态。Adam 系优化器需要保存一、二阶矩，Muon 虽减少部分状态，却仍要动量缓冲。Muon-RT 的思路是把自蒸馏框架中“本来就存在的信息”再利用，减少额外持久内存，这对多卡训练、长上下文微调和资源受限团队的可行性有直接影响。若结论在更广模型和任务上成立，它可能成为自蒸馏流水线中的一个轻量优化选项，而不是另起一套训练范式。
对用户/开发者/创作者的影响
对开发者而言，值得关注的是它与现有自蒸馏方法（如 SDFT、SDPO）的兼容性，以及是否能在不更换训练框架的前提下替换优化器状态。对使用开源模型做后训练的小团队，降低持续内存意味着同等硬件上可跑更大批次或更大模型，但前提是代码与超参可复现。对普通用户和创作者，这类工作短期内不会改变产品体验，更多是间接影响微调成本和模型迭代效率；目前公开信息显示，尚无配套开源实现或产品化 API 的说明。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是作者是否放出代码与完整实验，尤其是摘要之外的模型规模和任务覆盖；二是 Muon-RT 在非自蒸馏、无 EMA 教师的常规预训练中是否仍适用；三是主流训练框架或开源微调工具是否跟进集成，以及内存收益在真实多卡集群上能否兑现。
