证明步骤验证值不值?开放权重数学推理的认证代价

一篇 arXiv 新论文评估了“证明步骤验证”流水线:让 LLM 把解题答案重写成带类型的步骤并逐链认证,只在有把握时作答。它在难任务上显著提高答案精度,但覆盖面大幅下降,在接近满分的任务上收益很有限。

一句话看懂:一篇 arXiv 新论文评估了“证明步骤验证”流水线:让 LLM 把解题答案重写成带类型的步骤并逐链认证,只在有把握时作答。它在难任务上显著提高答案精度,但覆盖面大幅下降,在接近满分的任务上收益很有限。

事件核心:发生了什么

据 arXiv 摘要(编号 2611.14794,2026 年 11 月 13 日发布),作者在 GPQA、AIME-2025 和 MATH-500 子集上,用开放权重模型测试了“认证或拒答”式验证:把求解器的答案改写成结构化步骤,再由 LLM 判官决定是否认证。结果是认证虽提升了与答案键匹配的精度——GPQA 强配置下提高 31 个百分点,AIME 提高 46 个百分点——但系统只回答了 35% 和 21% 的尝试。在接近分数天花板的 MATH-500 上,精度最多只提升 5 个百分点,却损失了 13 至 27 个百分点的覆盖率。

为什么重要

这说明“多一道验证”不是免费的:它本质上是拿覆盖率换精度。在难题目上,这种取舍可能划算;但在模型已经很强的任务上,额外验证带来的边际收益很小,还会让更多问题被系统拒答。论文还把输出 token 数对齐的自我一致性选择器作为对照:在 35% 覆盖率下精度为 82.9%,而验证器汇总精度为 87.6%,配对差异 +4.8 个百分点,95% 区间为 [-8.2, 18.5]——区间跨零,说明这套流水线的优势并不稳固。对正在把大模型推理接入评测、API 或 AI 应用的团队而言,这是提醒:验证层要按任务难度分别算账,不能默认“加了就对”。

对用户/开发者/创作者的影响

开发者若在数学推理或高精度问答场景中使用开源模型,需要同时监控三项指标:执行失败率、已选答案的精度、以及独立评估的证明有效性。论文诊断样本显示,88 个完成题目中有 52 个在“无效证明构造”阶段失败,根本没走到判官环节,意味着不少算力花在了不可用输出上。此外,外部 LLM 对渲染后的认证链接受率为 61.0% 至 67.6%,低于 87.6% 的答案键匹配率;开放权重判官对之间经机会校正的一致性接近零。这更像是在衡量一致性而非证明正确性。普通用户短期内很难直接受益于这类验证,产品若采用,应明确告知“拒答”比例。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

目前公开信息仅基于摘要,尚不能确认全文实验细节。可关注三点:作者是否给出按配置拆分的执行失败统计;后续工作能否引入人工或形式化内核作为证明真值的基准;以及开源模型生态中是否会出现成本更低的替代验证方案。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 34870

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注