Anthropic:大语言模型在回答前想了什么?

Anthropic 通过 J-lens 工具读取大语言模型 Claude 的内部“思考过程”,发现其内部存在一个类似人脑“全局工作空间”的信息处理机制。这一发现为 AI 安全审计和模型行为控制提供了可操作的工具,但并未证明 AI 拥有真正的意识。

Anthropic:大语言模型在回答前想了什么?

一句话看懂:Anthropic 通过 J-lens 工具读取大语言模型 Claude 的内部“思考过程”,发现其内部存在一个类似人脑“全局工作空间”的信息处理机制。这一发现为 AI 安全审计和模型行为控制提供了可操作的工具,但并未证明 AI 拥有真正的意识。

事件核心:发生了什么

Anthropic 在 2025 年 7 月发布了一项关于大模型内部表征的研究。他们开发了名为 J-lens 的工具,该工具不是观察模型最终的输出,而是读取模型在“说出”答案前内部形成的中间判断与隐藏意图。这些被读出的内部表征集合被称为 J-space。实验证明,J-space 并非被动记录,而是模型推理的因果环节:替换内部的某个表征会直接改变模型最终的输出。研究进一步证实,J-space 具备全局工作空间的三个核心特征——可被任务指令调控、参与推理过程、可被多个不同任务共享调用。该研究基于 Claude 模型,由集智俱乐部首发报道。

为什么重要

这项研究的价值在于为“可解释 AI”提供了可验证、可干预的分析对象。长期以来,AI 系统的内部计算如同“黑箱”,研究者只能通过最终输出来推测逻辑。J-lens 提供了一种读取大模型“未说出口”的中间判断的方法,并且这种判断是模型推理的因果组成部分,而非仅仅是输出前的残差。这意味着,开发者可能通过观察 J-space 来提前检测模型的潜在风险(如隐藏的恶意意图或提示注入攻击),从而将 AI 安全从“事后追责”转向“事前监控”。对 AI 安全领域而言,这是一个从关联分析走向因果干预的重要跃进。

对用户/开发者/创作者的影响

对于普通用户,这项研究暂时不会改变日常使用体验,但它意味着未来 AI 服务商可能具备更强的“擦边内容”拦截能力,模型输出可能更加稳定可靠。对于开发者和 AI 安全工程师,J-space 提供了一种新的审计手段:可以在模型正式输出前“查校”其内部表征,区分模型是真正拒绝违规请求还是伪装合规。对于从事模型对齐训练的团队,J-space 可作为干预靶点,通过反事实反思训练让模型形成正向内部表征,从而有效减少不实输出。需要注意的是,目前 J-lens 仅能识别词表内、带语言标签的概念,无法捕获无文字的隐性规划,这一工具仍有明确局限。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. Anthropic 是否会开源 J-lens 工具,或将其集成到 Claude 的 API 中,允许开发者查看模型的“思考日志”?2. 其他主流大模型(如 OpenAI 的 GPT 系列、Meta 的 Llama)是否会被发现类似的全局工作空间架构,这将决定该结论是否具有通用性。3. 该工具用于安全审计时,是否能规模化应用,以及能否突破只能识别“语言标签”概念的局限,以捕捉更复杂的自动化危险行为。

来源:Readhub · AI

celebrityanime
celebrityanime
文章: 12757

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注