推理模型为何越「想」越错?研究者用「token空间寻路」重新解释推理目标

Hacker News 上的一篇文章提出,推理的目标是模型在 token 空间里「寻路」,让采样路径更可能落到正确答案集合,而不是单条思维链必然收敛到最优解,这解释了推理模型「想太久反而更差」和思维链不忠实等现象。

一句话看懂:Hacker News 上的一篇文章提出,推理的目标是模型在 token 空间里「寻路」,让采样路径更可能落到正确答案集合,而不是单条思维链必然收敛到最优解,这解释了推理模型「想太久反而更差」和思维链不忠实等现象。

事件核心:发生了什么

文章把推理过程类比为在 token 空间里寻路:给定提示 x,模型每次采样出一条路径 z,终点是答案 y;只要 y 落在验证器判定正确的集合内,就算成功。按这个框架,训练优化的其实是「至少有一条采样路径答对」的概率,而不是把某一条思维链打磨到最优。原文还提到,在强化学习训练中模型会写出更长的思维链且准确率提升,但如果人为强制单条链继续拉长,收益会先升后降,有时答案甚至变差。该文发布于 2026-11-10,属于观点性分析,目前公开信息显示并未配套完整实验或产品发布。

为什么重要

这一视角把推理模型的评价指标从「单条思维链质量」转向「路径成功概率」,对算力投入方向有直接影响:best-of-k 采样、验证器质量和采样多样性,可能比单纯拉长上下文更关键。它也顺带解释了思维链不忠实与奖励黑客(reward hacking)的产生机制——模型追求的是命中的概率,不必让中间步骤与最终答案逻辑一致。对正在做强化学习后训练和推理模型的团队来说,这提供了一个更贴近训练目标的解释框架。

对用户/开发者/创作者的影响

开发者部署推理模型时,应优先考虑多采样加验证器筛选,而不是盲目增大单次输出长度;API 或产品侧若只给一条长思维链,未必比多次短采样更可靠。创作者和企业用户则要接受一个事实:推理模型给出的推理过程更像「采样到的一条路径」,不能当作严格的决策依据,关键场景仍需外部校验。目前公开信息显示,文章未给出可复用的工程方案或基准数据,落地效果需等待后续验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是后续是否出现配套实验,量化「路径成功概率」与单链长度之间的关系;二是推理模型厂商是否在 API 中提供多路径采样与验证器接口;三是 reward hacking 与思维链不忠实问题是否被新的训练目标缓解。

来源:Hacker News (黑客新闻)

celebrityanime
celebrityanime
文章: 34155

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注