一句话看懂：arXiv 2026年10月7日收录的一篇新论文提出 ExPPO，一种轻量级优势重塑规则，用于改善大模型强化学习推理中的探索覆盖，代码已开源。目前公开信息仅来自摘要，实验结论有待全文核验。
事件核心：发生了什么
这篇论文名为《Exploration-Preserving Policy Optimization》，作者提出一种叫 ExPPO 的强化学习优化方法。它的核心是对“可验证奖励”训练中组相对目标（如 GRPO 类方法）的信用分配方式做调整。传统做法给相同奖励的回答分配相同优势，导致聚合信用与采样模式频率成正比，采样越多的模式越受奖励，探索面容易收窄。
ExPPO 的做法是引入基于提示的相对、长度归一化的响应“惊奇度”，再结合提示通过率，重新分配优势值。它使用有界塑形与共享归一化，保持验证器极性，并近似维持每个提示组的绝对序列优势总量。摘要称，分析刻画了响应级信用分配与模式更新，给出了熵增和正确模式发现提升的局部条件。
为什么重要
当前大模型推理能力提升高度依赖强化学习与可验证奖励，而训练信号如何分配直接影响模型能保留多少种解法。如果奖励只偏向高频采样模式，模型可能过早收敛到有限路径，导致复采样覆盖变窄。ExPPO 试图在不增加算力负担的前提下，让正确但少见的推理路径也获得学习信号，这属于训练算法层面的改进，而非新模型发布。
论文报告了域内和域外推理覆盖提升、聚合响应准确率更高，以及大采样预算下覆盖较强；多答案评测还显示正确模式产出和已验证正确回答的多样性增加。这些结果目前仅来自摘要，尚不能视为可复现的永久排名或上线功能。
对用户/开发者/创作者的影响
对开发者而言，ExPPO 提供了一条开源代码路径（GitHub 已放出），可尝试接入现有强化学习推理流程，尤其适合关注 GRPO、PPO 类方法在数学、代码等可验证任务上的采样多样性问题。对使用大模型推理 API 的产品团队，若后续被主流训练框架吸收，可能带来同类模型在复杂任务上更稳定的多路径输出，但短期不改变现有接口和价格。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是是否出现独立复现，验证摘要中的覆盖与多样性收益；二是 ExPPO 能否被主流开源训练框架集成，降低接入成本；三是该方法在更长思维链和更大模型上的效果与稳定性，以及是否带来额外训练开销。目前信息范围仅限论文摘要，建议以全文和代码实测为准。
来源：arXiv cs.AI
