CriticOPD：用教师批判修复在线蒸馏中的监督失效

一句话看懂：一篇论文提出 CriticOPD，用教师模型对错误推理路径的“批判”来修复在线蒸馏中的监督失效问题，在 Qwen3 学生模型和数学推理基准上取得提升。

事件核心：发生了什么

Hugging Face Papers 收录的一篇论文（原始发布时间 2026-10-14）指出，在线蒸馏（On-policy Distillation，OPD）存在一个被忽视的假设：教师模型必须能从学生写出的任何前缀出发到达正确答案，作者称之为“可恢复性”。

论文摘要称，这一假设在错误推理路径上会失效——教师模型虽能识别出错误，却倾向于顺着学生的错误继续下去。为此，作者提出 CriticOPD：让教师对错误推理进行批判，学生据此重写解答；重写后带批判信息的输出由教师评分，但学生训练时只使用不带批判的修订版本。实验覆盖两个 Qwen3 学生模型和六个数学推理基准，摘要称 CriticOPD 优于 OPD，在竞赛类问题上提升最大。

为什么重要

在线蒸馏是大模型训练中压缩能力、降低成本的重要路线之一。如果教师模型在学生的错误路径上“将错就错”，学生就可能学到表面看起来合理、实则错误的推理模式。CriticOPD 把“错误识别”本身变成训练信号，而不是简单丢弃错误样本，这为提升蒸馏数据质量提供了一种新思路。

目前公开信息显示，该工作仍处于论文摘要阶段，未提供完整实验细节、开源代码或已落地产品信息，其结论需在相应评测条件下理解，不宜过度外推。

对用户/开发者/创作者的影响

对开发者而言，如果该方法后续被验证并开源，可能影响小模型数学推理能力的训练流程，降低对超大规模教师模型逐 token 监督的依赖。对使用 API 的应用开发者来说，短期内更直接的影响可能体现在蒸馏模型推理质量的提升上，但尚未有产品化证据。对企业采购方，是否需要重新评估小模型在数学、竞赛类任务中的可靠性，仍要看完整实验和复现结果。