一句话看懂：一篇 2026 年 11 月 3 日上传至 Hugging Face Papers 的论文摘要指出，多教师 on-policy 蒸馏（MOPD）虽能在监督分布内接近完美复现教师能力，但在分布外任务上出现明显退化，提示“能力整合”并不等于“能力迁移”。
事件核心：发生了什么
该研究先在合成推理任务上观察到 on-policy 蒸馏（OPD）未能完整传递教师的泛化能力，随后扩展到 Qwen3 模型的真实任务，覆盖数学推理、代码、Agent 和长上下文四类能力。摘要给出的数据是：在外推设置下，OPD 与 MOPD 达到教师分布内分数的 96.04%–102.73%，但分布外（OOD）分数比基座模型低 2.45%–16.25%；在三种组合式设置中，MOPD 的分布内表现优于基座，但组合任务 OOD 比最佳教师低 18.19%–24.34%。作者将教师能力与数据覆盖视为两个瓶颈，并尝试用“几何修补”和“保留基座回放”缓解 OOD 退化。需要说明的是，以上均基于论文摘要，全文实验尚未在公开信息中核验。
为什么重要
这篇工作针对的是后强化学习阶段的“能力固化”路线：用蒸馏把多个教师模型的能力压进一个学生模型。如果分布内高分掩盖了分布外遗忘，那么以基准分数判断模型能力整合效果就可能失真。对行业而言，这提醒模型团队在训练收益与泛化保持之间做更细的权衡，也把 OOD 保留从边缘指标推到能力整合评估的中心位置。
对用户/开发者/创作者的影响
对开发者，选择蒸馏或后训练方案时不能只看分布内评测，需在目标场景之外补测；API 和开源模型若经过此类整合，其“专长能力”在跨任务组合时可能不如基座稳定。对企业采购与 AI 应用团队，评估模型时应区分该模型是原生训练还是多教师蒸馏产物。对创作者，直接影响有限，但依赖模型组合完成长链路任务时，仍应保留人工校验环节。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文全文是否公开完整实验细节与复现条件；二是“几何修补”和基座回放能否在更大模型上稳定保留分布内性能；三是模型厂商是否会调整后训练流程与评测口径，将 OOD 保留纳入常规报告。
