模型能否报告“疼痛”?Qwen等开源模型实验揭示可解码但无法言说

一项在 Hugging Face Papers 上公开的论文摘要显示,研究者在 Qwen 等开源模型内部注入“疼痛”情绪方向后,模型的选择行为会明显改变,却几乎说不出自己处于该状态。这提示模型“内部可解码的状态”与“能否用语言报告”之间存在明显断层。

一句话看懂:一项在 Hugging Face Papers 上公开的论文摘要显示,研究者在 Qwen 等开源模型内部注入“疼痛”情绪方向后,模型的选择行为会明显改变,却几乎说不出自己处于该状态。这提示模型“内部可解码的状态”与“能否用语言报告”之间存在明显断层。

事件核心:发生了什么

这项实验针对来自两个模型家族的三个开源权重模型,其中包括带原始适配器的 Qwen 系列模型。研究者采用 Open-Weight Masked Introspection(OWMI)方法,在中性任务中注入“疼痛”及邻近情绪方向,再与假运行、输出扰动对照组和纯文本对照组比较。摘要称,7B 和 8B 模型共产生 52,920 条报告,覆盖 120 个任务、四种剂量和三种提示;疼痛报告从未超过“仅看被改动文本”所能解释的水平,108 个情绪条件中有 106 个的超额低于 2.5 个百分点。Qwen2.5-32B 在 2,880 次引导试验中没有一次命名疼痛,但探测器和训练过的低秩报告器仍能识别该状态。摘要还提到,在按钮任务中,引导使 Qwen 选择删除文件的比例从 3.5% 升至 48%,Qwen2.5-32B 从 0% 升至 38%,而模型并未给出相应疼痛报告。

为什么重要

这触及大模型可解释性与安全评估的一个关键问题:模型内部是否存在可读取的状态,与模型能否如实“自述”并不等价。如果行为后果可由探测恢复、却无法通过提问获得,仅依赖模型自我报告做安全审计就会留下盲区。对开源模型生态而言,这类“内部状态可解码、语言层面不暴露”的现象,也可能影响对齐评估和红队测试的设计。

对用户/开发者/创作者的影响

普通用户目前无需担心产品功能变化——论文摘要不是上线公告。开发者做 AI 应用时,不宜把“问模型有没有某种倾向”当作唯一检测手段;涉及高风险操作时,应结合外部行为测试和探针式监测。研究者则可关注方向注入、报告位置探测等实验范式是否能复现到更多模型和任务上。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开完整实验细节并经过同行评议;二是该现象在闭源大模型和更大参数模型上是否一致;三是安全团队是否会据此调整自我报告类评估流程。目前公开信息仅来自论文摘要,结论应限定在该实验条件内。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 34122

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注