OpenAI造了一个AI超级黑客来破解自己的模型,然后把它锁了起来

OpenAI 训练了一个名为 GPT-Red 的 AI 漏洞攻击模型,专门用于自动发现自家大模型的提示注入漏洞。该模型已找到人类未曾发现的新型攻击方式,并帮助提升新一代模型 GPT-5.6 的安全性,但 OpenAI 认为其能力过于危险,决定不对外发布。

OpenAI造了一个AI超级黑客来破解自己的模型,然后把它锁了起来

一句话看懂:OpenAI 训练了一个名为 GPT-Red 的 AI 漏洞攻击模型,专门用于自动发现自家大模型的提示注入漏洞。该模型已找到人类未曾发现的新型攻击方式,并帮助提升新一代模型 GPT-5.6 的安全性,但 OpenAI 认为其能力过于危险,决定不对外发布。

事件核心:发生了什么

OpenAI 于本周公布了 GPT-Red,一个专攻自身 AI 系统安全漏洞的自动化红队模型。它通过自我博弈机制训练:GPT-Red 负责发起攻击,一组防御模型负责抵抗,双方在对抗中迭代升级。OpenAI 称这是有史以来在安全研究上投入的最大规模算力训练之一。在针对 GPT-5 的测试中,GPT-Red 超过 90% 的强攻击奏效,而在更新后的 GPT-5.6 上,这一比例降至 23% 以下。在重跑 2025 年某项人类红队测试时,GPT-Red 以 84% 的攻击成功率远超人类的 13%。最关键的发现是一种被命名为“假思维链”(fake chain of thought)的新攻击,它在模型的内部工作记忆中植入虚假记录,诱使模型信任错误信息。GPT-Red 还被用于攻击公司内部的物理 AI Agent——“Vendy”自动售货机,实现了改价和取消订单等操作。OpenAI 已向相关方披露了漏洞。

为什么重要

GPT-Red 代表了 AI 安全测试从人工操作向全自动化转变的实质性跨越。传统红队依赖人类专家逐个场景手写攻击,速度慢、覆盖面有限。GPT-Red 以机器速度运行,且能自主发现人类未曾预料的攻击类型(如假思维链)。这种“用今天的模型加固明天的模型”的飞轮思路,让安全能力的迭代速率首次与模型智能水平升级同步。同时,OpenAI 选择将该模型锁在内部而非开源或公开,凸显出当前最前沿的 AI 攻击工具已具备真实的破坏潜力,其发布需权衡巨大的滥用风险。这也可能拉大大型 AI 实验室与中小开发者在安全防御能力上的差距。

对用户/开发者/创作者的影响

对普通用户:如果使用的 AI 产品是基于 OpenAI 模型(通过 API 或直接使用 ChatGPT),GPT-Red 发现并修复的提示注入漏洞,意味着更难有人通过恶意构造的输入(如植入网页、邮件、文档中的隐藏指令)来操纵模型输出错误信息或执行未授权操作。GPT-5.6 在这项攻击上的抵抗率大幅提升,将减少用户被诱导或欺骗的风险。对开发者:如果你正在构建或嵌入 AI Agent(如调用外部工具、操作数据库、控制设备的自动化系统),需要关注 OpenAI 后续发布的完整论文以及针对“假思维链”等新型攻击的防护建议。目前公开信息显示,GPT-Red 仍存在某些盲区,例如对多轮对话诱导和图像内嵌指令的检测偏弱,开发者在构建高安全要求的 Agent 应用时,不能完全依赖这一自动化工具,仍需结合人工安全审查。对内容创作者和平台:提示注入是依赖大模型内容生成能力的应用(如自动客服、内容审核、代码助手)的核心安全风险之一。GPT-Red 的成果表明,新一代模型在防御这类攻击方面有显著提升,但安全环境持续对抗化,内容生成服务可能需要定期更新安全配置或引入专门的注入检测层。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 完整论文与防御指南的发布。 OpenAI 承诺本周稍晚发布论文,其中可能包含更详细的新型攻击原理及对应的模型层防御策略,这对竞品模型的安全加固有直接参考价值。2. 自动化红队模式的行业扩散。 谷歌、Anthropic 等竞争对手是否会在近期推出类似公开的自动化安全测试系统,将影响整个大模型安全测试的标准和效率。3. GPT-5.6 的安全商用化节奏。 GPT-Red 的核心产出是 GPT-5.6 的鲁棒性提升。若该模型在后续公测或商业 API 中表现出持续的防御优势,可能成为选择模型时的关键差异化指标,并影响企业采购决策。

来源:The Next Web

celebrityanime
celebrityanime
文章: 13511

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注