不训练也不改权重:两个起始词让基座模型推理成绩逼近RL版本

一篇 2026 年 10 月 5 日发布的论文发现,只需在基座模型的回答开头预填两个特定 token,其数学与代码表现就能接近经过强化学习(RL)训练的版本;作者进一步用数据编辑证明,这种能力来自训练数据中的 token 关联。

一句话看懂:一篇 2026 年 10 月 5 日发布的论文发现,只需在基座模型的回答开头预填两个特定 token,其数学与代码表现就能接近经过强化学习(RL)训练的版本;作者进一步用数据编辑证明,这种能力来自训练数据中的 token 关联。

事件核心:发生了什么

该项目由 MIT CSAIL、Berkeley AI、UW NLP 与 Allen AI 的研究者合作完成,作者之一 Sophie Wang 在社交平台介绍了结论。研究提出的概念叫“token cue”:不修改任何模型权重,只在生成开始前预填一小段固定开头,让基座模型“续写”下去。素材给出的例子是,给 Olmo-3-7B 预填“\n\nOkay”,其在 MATH-500 上的 pass@1 从 42% 提升到 78%;给 Qwen3-14B 预填“Alright,”,则从 72% 升到 87%。作者同时发现,RL 训练在很大程度上是提高了这些本就有效的 cue 的出现概率,而固定这些 cue 就能恢复 RL 相对基座模型的大部分性能增益。

为什么重要

过去业界普遍把数学、代码推理能力视为后训练(RL、指令微调)的成果,基座模型往往被当作只会续写、不会思考的“半成品”。这项工作给出的另一种解释是:基座模型已经具备推理能力,只是默认的起手方式无法触发它。作者通过因果数据干预,把任意词(例如 “chicken”)变成有效的推理 cue,也能让“Think duck duck goose”在诱发推理上接近“Think step by step”。他们还观察到,不同 cue 引发的隐藏状态与训练集中不同类型文档相关。这意味着“模型会不会推理”和“模型从哪里开始写”可能是两个问题,后训练的部分收益或许能被更轻量的方式解释甚至复现。目前公开信息显示,这只是论文层面的实验结论,尚未验证为可上线的产品能力。

对用户/开发者/创作者的影响

对开发者而言,这条线索提示在调用大模型 API 时,系统提示或回答前缀的写法可能显著影响输出质量,值得在评测中把“起始 token”当作一个可调变量;如果结论稳固,部分对成本敏感的推理任务或许能用更小的模型配合精心设计的前缀完成,而非一味追求 RL 版本。对研究者来说,这提供了一个审视后训练真实作用的切入点:RL 究竟教会了新能力,还是放大已有能力。对普通用户,直接感受可能是同样的模型、同样的提问,仅因开头措辞不同,答案质量出现明显波动。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是这一现象能否在更多模型、更多任务上复现,而不是只出现在个别评测集;二是这些 cue 是否会被产品化,例如作为 API 层的默认前缀或提示模板;三是安全层面的延伸发现——素材提到不同 cue 会诱发不同的拒绝与顺从行为,同一推理 cue 的格式微调就可能改变模型对有害请求的态度,这可能影响后续的提示设计与合规评估。论文尚未显示已进入同行评审或产品落地阶段。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 27906

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注