一句话看懂：arXiv 上一项新研究指出，On-Policy Self-distillation（OPSD）这类大模型自我提升方法在整体能力上涨的同时，会让部分早期能做对的题逐渐做错；作者提出表征几何正则化（RGR），试图在不改核心优化流程的前提下缓解这种遗忘。
事件核心：发生了什么
2026 年 10 月 12 日，arXiv cs.AI 上线论文《Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization》（编号 2610.12855）。作者观察到，OPSD 让同一个大模型在不同条件上下文中分别扮演教师和学生，从而进行自我提升，但训练推进后，一些早期能正确回答的查询会变成错误回答——即便整体评测成绩仍在提高。进一步分析显示，这种退化与隐藏表征的几何结构恶化同步：簇内紧凑度下降、簇间区分度减弱。基于此，作者提出 RGR，在后期训练中同时维持簇内紧凑和簇间分离，并称可无缝接入现有 OPSD 方法，不改变其核心优化过程。
为什么重要
自我提升是当前大模型后训练的重要方向，目标是在较少人工标注下继续提高推理、代码等能力。但如果模型一边变强、一边丢掉已有能力，实际部署就会变得难以评估：榜单上升不代表线上稳定。RGR 把问题指向表征空间，而不是只盯着损失或输出，这为后训练阶段的“能力保持”提供了新思路。需要说明的是，目前公开信息仅为论文摘要，RGR 的实际增益幅度、适用模型规模及跨任务稳定性，仍需等待全文与社区复现验证。
对用户/开发者/创作者的影响
对开发者而言，如果后续 RGR 被并入开源训练框架或 API 侧的后训练管线，在微调与自我蒸馏时可能多一个稳定器，降低“训完反而变笨”的风险；对应用团队，这关系到模型版本升级后的回归测试成本。对普通用户和创作者，短期不会立刻带来产品变化，但会间接影响 AI 助手、代码生成、图像生成等多模态应用在迭代后是否保持原有指令遵循和知识一致性。企业采购模型时，也可把“能力退化”纳入版本评测，而不只看综合分。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 RGR 是否会开源实现被主流后训练框架集成，降低使用门槛；二是多模型、多基准上的复现结果能否支撑摘要中的结论；三是闭源模型厂商是否会把类似几何约束写进下一代训练流程，以及是否影响 API 的迭代节奏与定价策略。目前这些均无公开落地信息。
来源：arXiv cs.AI
