一句话看懂：一篇新论文提出 MTA-OPSD，让大模型在后训练时由每个 token 自选最合适的“教师”提供监督，而不是整段训练共用一个固定教师；在 Qwen3 数学推理任务上，比现有在线自蒸馏方法平均最多提升 5.9 分。
事件核心：发生了什么
据 Hugging Face Papers 收录的论文摘要（发布时间 2026-10-29），研究者围绕“在线自蒸馏”（On-policy Self-distillation，OPSD）提出改进方案。此前的 OPSD 做法通常固定教师的参考条件：要么整个训练过程都提供完整参考，要么只在不同回答之间调整部分参考暴露。论文认为，同一句回答内部不同 token 对教师偏好的需求并不相同。
作者通过教师干预的预实验验证了这一判断，并用多数投票与基于 KL 的选择为每个 token 找出偏好的教师。据此，他们提出 MTA-OPSD：先构建由候选教师组成的多教师池，训练中让每个 token 自适应选定教师。在 Qwen3 模型的数学推理任务上，该方法相对现有 OPSD 方法稳定更优，相对基础模型平均提升最多 +5.9。论文摘要给出的代码地址为 github.com/xingzhejun/MTA-OPSD。
为什么重要
后训练阶段的监督信号设计，直接影响大模型的推理能力与训练成本。把教师粒度从“整轮训练”和“整段回答”下探到 token 级，意味着同一段推理过程中，不同步骤可以由不同参考信息来纠正；这为解决“统一教师在某些 token 上监督过强或过弱”的问题提供了新思路。对关注开源大模型训练管线、蒸馏与强化学习的团队来说，这是一个值得跟踪的技术方向。
需要说明的是，目前仅有论文摘要，全文实验范围、对比基线和复现细节尚未核验，评测结论也限于该摘要所述的 Qwen3 模型与数学推理任务，不能视为通用能力排名。
对用户/开发者/创作者的影响
对开发者而言，MTA-OPSD 的价值主要在训练侧：如果方法可复现，意味着构建蒸馏管线时可以准备多个教师检查点或多组参考条件，并按 token 动态路由，而不是只依赖单一强教师。这会增加工程复杂度，但也可能提升小模型在推理类任务上的收敛效率。对普通用户，短期内没有可直接感知的产品变化；对内容创作者和企业采购方，它更像是判断模型厂商后训练水平的一个观察点，而不是立即改变使用成本的发布。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是代码仓库是否放出可运行实现，以及多教师池的构建和选择开销是否可控；二是该方法在数学推理之外的代码、多语言等任务上是否同样有效；三是后续是否被 Qwen 系列或其他开源模型的官方后训练流程采用，从而间接影响开源模型的推理能力竞争。
