Hugging Face 论文：在线策略蒸馏会崩溃，教师模型隐性奖励机制被揭示

一句话看懂：Hugging Face 2026年10月2日上线的一篇论文指出，在线策略蒸馏（OPD）既能提升语言模型表现，也可能导致输出过长和重复的崩溃；作者用强化学习视角解释，并给出掩码与SFT初始化两种缓解方案。

事件核心：发生了什么

在线策略蒸馏（OPD）是语言模型后训练中的常见方法，但社区一直困惑于它为何有时提升性能、有时却崩溃成超长重复生成。这篇论文把OPD看作一种隐式强化学习：教师模型通过反馈隐式地奖励学生行为，即使教师自己很少生成这类文本。实验显示，OPD能提升表现，但并未扩展学生的能力边界；当隐式奖励模型可靠时，正确回答更容易被采样；当偏好与质量错位时，就会出现“奖励黑客”，放大冗长、重复的学生输出。作者提出在训练时掩蔽不健康响应，以及使用SFT初始化，都能缓解崩溃。

为什么重要

这项研究把OPD的关注点从“教师生成得多好”转向“教师评估学生输出的可靠性”。对于大模型后训练、开源模型微调和推理优化而言，这意味着若只盯着教师输出去蒸馏，可能系统性放大低质行为，而不是真正教会学生新能力。在算力成本高企、各家争相用蒸馏压缩模型规模的当下，这一诊断提供了可操作的方向：与其优化教师生成，不如先校准教师反馈。

对用户/开发者/创作者的影响

对开发者来说，如果正在用OPD做模型对齐或垂直领域微调，需要警惕训练后突然出现的超长输出和重复模式；论文建议的掩码和SFT初始化可作为排查起点。对依赖API或开源模型的AI应用团队，选型时不应只看蒸馏后的基准分数，还要关注生成质量是否稳定。对内容创作者而言，模型崩溃可能表现为废话循环或响应失控，这提醒产品侧需要加入输出长度和重复度监控。目前公开信息显示，这些结论来自论文摘要，完整实验和同行评审状态尚未核验。