Qwen3推理强化学习被指“思维泄漏”:提升或源自THINK模式复活

一项针对 Qwen3 系列的研究提出,在 NO-THINK 模式下用强化学习提升推理分数,可能主要不是学会新能力,而是把模型原本 THINK 模式的能力重新激活。

一句话看懂:一项针对 Qwen3 系列的研究提出,在 NO-THINK 模式下用强化学习提升推理分数,可能主要不是学会新能力,而是把模型原本 THINK 模式的能力重新激活。

事件核心:发生了什么

Hugging Face Papers 上发布的一篇论文,关注混合推理模型(如 Qwen3 系列)的训练机制。这类模型通过少量 chat-template 特殊 token 在 THINK 与 NO-THINK 两种模式间切换。一种常见做法是直接在 NO-THINK 模式下用强化学习(RL)训练,并报告推理性能提升。

研究者用 GRPO 分别训练了 Qwen3-1.7B、4B 和 8B。他们观察到:随着准确率上升,模型的回答变长、更“反思”,被原始模型判定为更接近自己的 thinking 输出,内部激活也逐渐向 THINK 模式偏移。在权重、激活和注意力头层面,继续加大 RL 更新会诱发出 THINK 模式行为,准确率接近但不超过 THINK 模式。在 Qwen3-8B 上,将 RL 训练模型中一个与 THINK 相关的低维激活子空间替换为原始模型的值,会移除大部分 RL 增益;反向替换则能把相当一部分增益转移到原始模型。RL 引发的偏移经过读取空 think 块的注意力头。研究还指出,GRPO 的 advantage 加权信号更偏好“像 THINK”的回答,从该信号计算的梯度步会把模型推向 THINK 状态。论文认为,NO-THINK 模式的增益在很大程度上反映的是原模型已有推理能力的再激活,而非学习到更强的推理行为。

为什么重要

这直接触及当前大模型后训练的一条主流路线:用 RL 在非思考模式下提升推理表现。如果“思维泄漏”机制成立,那么部分基准分数上涨可能被误读为模型能力增强,而实际上只是把隐藏的 THINK 能力重新调动出来。对训练方而言,评估 RL 收益时需要区分“新学会的能力”和“已有能力的重新激活”,否则容易高估训练方法和数据的作用。对开源与闭源模型的竞争叙事也有影响:如果提升更多来自基座模型原有的推理潜力,那么单纯比较 NO-THINK 模式的 RL 后分数,未必能反映真正的能力差距。

对用户/开发者/创作者的影响

对普通用户来说,短期内不必因为这项研究改变使用方式,但可以留意:模型在 NO-THINK 下变“啰嗦”、更像在思考,不必然等于推理能力质变。对开发者,尤其是做模型微调、蒸馏或 RL 后训练的团队,这意味着评测设计要更谨慎,最好同时检查输出长度、思考块激活和 THINK 模式对照,避免把“模式切换”误当成“能力提升”。对做 AI 应用和内容创作的人来说,如果产品宣传“用 RL 让非思考模式也具备强推理”,需要看它是否提供了与 THINK 模式的公平对比,以及是否只是把思考过程藏进了更长的回答里。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,论文中的机制是否会被更多模型和更大规模实验复现,尤其是不同 RL 算法和不同模型家族上的表现。第二,Qwen 或其他混合推理模型在发布更新时,是否会公开区分 NO-THINK RL 增益与 THINK 模式基线。第三,训练工具链和评测基准是否会加入“思维泄漏”检查项,例如监测空 think 块注意力头或 THINK 相关激活子空间的变化。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29187

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注