RLVR数据88%陷入零优势陷阱,MagicBeanStalk用递归合成让gpt-oss-120b提升8.6分

一篇 arXiv 新论文指出,广泛使用的开源数学 RLVR 数据中约 88% 落入“零优势陷阱”,对目标策略几乎不产生学习信号;作者提出递归数据合成算法 MagicBeanStalk,用少量种子题生成校准难度的新题,在 8 个数学基准上提升 gpt-oss-120b 和 DeepSeek v4Flash 的表…

一句话看懂:一篇 arXiv 新论文指出,广泛使用的开源数学 RLVR 数据中约 88% 落入“零优势陷阱”,对目标策略几乎不产生学习信号;作者提出递归数据合成算法 MagicBeanStalk,用少量种子题生成校准难度的新题,在 8 个数学基准上提升 gpt-oss-120b 和 DeepSeek v4Flash 的表现。

事件核心:发生了什么

该论文于 2026 年 10 月 12 日发布在 arXiv cs.AI(编号 2610.12659v1),目前公开信息仅为摘要。作者对 RLVR(可验证奖励强化学习)的数据有效性做了实验刻画:数据集是否有用,不只取决于题目数量,还取决于目标策略和 rollout 预算。他们发现,一个由常用 RLVR 数据集汇总而成的大型开源数学语料中,约 88% 的题目在固定策略和预算下“每次都被解出”或“每次都失败”,前者没有梯度信号,后者拿不到正确轨迹,形成所谓的零优势陷阱。过滤只能把剩下的有效题挑出来,无法保留被丢弃的难题。为此作者提出 MagicBeanStalk:对种子题做自上而下分解,再自下而上递归合成,生成既保留原题推理蓝图、又具备新难度且适配策略与预算的题目家族。

为什么重要

RLVR 近一年是大模型数学与推理能力提升的重要路线,但行业普遍把精力放在“堆更多可验证题”上。这篇论文把问题从数据规模转向数据有效性:语料大不代表训练信号强。如果 88% 的题落入零优势区间,那么大量算力可能花在了没有梯度的样本上。MagicBeanStalk 的思路是用合成补足过滤丢弃的难题,同时控制难度让部分 rollout 成功、部分失败,并至少有一条正确解落在预算内。论文报告称,在 16K token 预算下,使用其合成题做持续 RLVR,gpt-oss-120b 在 8 个数学基准上从 61.2 提升到 69.8(+8.6),DeepSeek v4Flash 从 72.4 提升到 77.9(+5.4);而直接训练完整 78K 源语料仅提升 +1.1,最佳过滤真实数据子集为 +5.8。这些数字来自摘要,未经同行评审确认,也不代表模型永久排名。方法在金融领域也有尝试:仅用 340 条解答合成超过 14K 道可验证题,在 SecQue 和 FinanceBench 上分别比基线提升 6.9 和 2.4 分。

对用户/开发者/创作者的影响

对做模型后训练和 RLVR 的开发者,这条路线提供了一个可参考的判断标准:先测数据在目标策略与预算下的有效比例,再决定是过滤还是合成,而不是默认“数据越多越好”。对使用开源模型做数学、金融等推理应用的团队,若论文方法可复现,意味着用较小种子集和可控合成成本就能获得比全量训练更好的提升,可能降低对超大规模标注语料的依赖。对内容创作者和 AI 应用开发者,短期内更直接的影响是:未来开源社区可能更关注“难题合成”工具链,而不是又一批同质化题库;金融可验证题的自动化生成也值得观察。目前公开信息仅限摘要,尚无代码、模型或 API 发布信息。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,MagicBeanStalk 的完整实验、消融和复现细节是否公开,尤其是合成题与真实难题的分布差异。第二,该方法能否迁移到数学以外的代码、逻辑、多模态等可验证任务,以及合成成本与收益的平衡点。第三,开源社区或云厂商是否会把“零优势比例”纳入数据筛选与训练流水线,形成新的 RLVR 数据工程标准。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 28883

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注