思维链可控性研究:起始几个token或决定推理方向

arXiv 上一篇新论文指出,大模型推理轨迹开头几个 token 存在熵坍缩,这可能是模型难以自主控制思维链(CoT)内容的原因;作者通过在推理阶段干预初始 token,恢复了部分可控性,平均合规率提升 34-41 个百分点。

一句话看懂:arXiv 上一篇新论文指出,大模型推理轨迹开头几个 token 存在熵坍缩,这可能是模型难以自主控制思维链(CoT)内容的原因;作者通过在推理阶段干预初始 token,恢复了部分可控性,平均合规率提升 34-41 个百分点。

事件核心:发生了什么

该论文(arXiv:2610.40939v1,公告时间 2026-11-02)研究的是 CoT 监控这一方向:模型目前难以控制自己在推理中说出什么,这正是监控相对有效的前提之一。作者把这一局限追溯到开启思考标签后最初几个 token 的熵坍缩,并尝试两种推理时干预:一是预填(prefilling),即使只填一个 token 也能明显提升可控性;二是禁止高频开头 token 并配合上下文示例,在多个模型上把平均合规率提高 34-41 个百分点。

摘要进一步区分了可控性的类型:“增加/风格”类(补充或转换信息)较容易被恢复;“抑制”类(避免或删除信息)表现不一,说明两者可能对应不同机制。跨模型结果也显示,同类任务内部呈正相关,跨类之间多为负相关。以上结论仅基于摘要,尚未核验全文实验细节。

为什么重要

CoT 监控被视为监督越来越强 AI agent 的手段之一。如果模型一开始的思考开头就锁定方向,那么“模型能否被引导”不仅关系到安全性评估,也关系到推理结果的可预测性。论文提示,衡量可控性需要区分“难以启动某个特定开头”和“整体上难以改变推理内容”这两件事,否则评估结论会混淆。

另一个值得注意的发现是可控性与可监控性的关系随任务类型变化:增加和风格类控制与可监控性更常呈正相关,抑制类则常呈负相关。这意味着“模型更听话”未必等于“更容易被监控”,对安全评测设计有直接影响。

对用户/开发者/创作者的影响

对开发者而言,若预填或开头 token 约束在生产推理 API 中可用,可能成为引导模型推理风格的低成本手段,但需要按任务类型分别测试,不能指望同一套提示对“补充信息”和“隐藏信息”同样有效。对依赖 CoT 监控做合规与审计的团队,评估指标应拆开报告控制任务和类别,避免用单一可控性分数下结论。对普通用户,这只是研究阶段的方法,目前公开信息显示尚无对应产品功能上线。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是全文实验是否在更多模型和真实 agent 任务上复现 34-41 个百分点的提升;二是预填等干预能否进入主流推理 API 或开源推理框架;三是社区是否会跟进提出区分“启动难度”和“内容改变能力”的评测基准。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 31794

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注