通过永不言弃，学习在强化学习中解决大型语言模型面临的难题

一句话看懂：一篇关于大语言模型强化学习后训练的研究指出，当前 RL 训练普遍存在“马太效应”——简单题越练越强、难题几乎原地踏步，并提出用“永不言弃”策略来缓解这一偏差。

事件核心：发生了什么

研究者 Michael Noukhovitch 在 2026 年 9 月发布了一篇交互式博客，介绍其关于 LLM 强化学习后训练的新论文。团队在训练 Olmo 3.1 RL-Zero Math 时发现，AIME 2025 评测曲线整体上升，但拆开 30 道题后情况完全不同：原本 pass@32 就为 0 的“难题”，训练后大多仍然是 0；提升几乎全部来自初始就能部分解出的简单和中等题。作者把这种现象命名为强化学习中的“马太效应”。他们在代码和智能体任务上也观察到类似规律，例如 Deepcoder 和 DeepSWE 的开源日志。进一步实验显示，在 GSM8k 上，较小的采样数 k=4 反而比 k=32 更有利于攻破难题，因为大 k 虽然更容易找到难题的稀有正确解，也更容易在简单题上找到罕见的错误解，从而改变训练批次构成。

为什么重要

这直接挑战了“RL 后训练能普遍提升模型推理能力”的默认叙事。如果评测分数上涨主要来自简单题，那么模型在真正困难任务上的泛化能力可能被高估。对行业而言，这意味着评测基准需要按难度分层报告，而不是只给一个平均数；同时，GRPO 等主流 RL 方法存在“信号丢失”问题，需要新的采样、课程学习或特权信息方案来补齐。该研究提出的“Never Give Up”思路，可能影响后续开源模型在数学、代码和智能体方向的训练配方。

对用户/开发者/创作者的影响

开发者在使用 RL 后训练或微调 LLM 时，应检查训练集是否被简单样本主导，避免被整体评测曲线误导。若你依赖开源模型做数学推理或代码生成，需关注其难题通过率而非平均分。对内容创作者和产品团队来说，这意味着宣称“大幅提升推理能力”的模型卡需要更细粒度的证据；在选型时，按业务实际难度分层测试比看总榜更有参考价值。