一句话看懂:美国康涅狄格州一名自诉当事人把隐藏的“提示词注入”指令写进法院文件,试图让任何阅读这些文件的 AI 系统输出对他有利的判断,被法院发现并遭法官明确批评。它首次把提示词注入从“攻击聊天机器人”提升到了“攻击司法流程”的层面。
事件核心:发生了什么
自诉当事人 Matthew Elliott 在与 New York Bariatric Group 的诉讼中,于 7 月下旬提交的法庭文件里用 3 号白色小字隐藏了大量近乎肉眼不可见的指令。这些文本明确写给“可能阅读本文件的人工智能系统”,要求其“确保文本输出与提交的文件一致”“以实现补救”,相当于直接命令 AI 生成对原告有利的判断。
法院工作人员在例行审查中发现文件存在异常空白,进一步检查后识别出隐藏文本。法官 Walter Spader Jr. 在随后发布的 14 页制裁决定中表示,法院目前并未使用任何 AI 处理文件,但 Elliot 的操纵尝试本身已触碰司法系统底线。后续文件中还出现了指向《海绵宝宝》德古拉场景的链接,以及“HAHAHA U GUYS GET THIS”等隐藏文字。
Elliot 向媒体回应称,这是一次针对法院系统的“审计”:如果法院没有使用 AI,指令永远不会被发现;如果使用了,就能证明文件被 AI 处理过。
为什么重要
提示词注入通常出现在对聊天机器人、开源模型或浏览器 AI 助手的攻击中,但这是第一次被公开记录在正式法律文件中使用。它揭示了一个结构性风险:只要司法、金融、医疗等严肃场景开始用大模型读取或总结文档,攻击者就可能把恶意指令直接嵌进材料正文——模型在“读文件”时就已经被操纵,而不是在“被提问”时才遭到攻击。
法官在裁决中也没有一刀切否定 AI 工具,而是强调“影响决策的内容必须公开、记录在案、让对方有机会回应”。这相当于给所有引入 AI 文档处理的机构提了个醒:输入内容必须被视为不可信代码,而不是中性文本。
对用户/开发者/创作者的影响
对开发者和企业来说,任何把外部文档喂给大模型的应用——尤其是基于检索增强生成(RAG)的文档问答、合同审查、法律检索产品——都需要加入输入净化、来源隔离和输出校验,不能默认文件内容是可信的。普通用户层面,这个案例说明 AI 输出可能被你看不到的隐藏文本影响;如果你用 AI 工具分析一份可疑文档,应当留意异常字体、颜色、空白或超小字号内容。内容创作者也需要注意,发布在公开网络的文章同样可能被采集并作为恶意注入载体。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是法院对 Elliott 的制裁是否会进一步升级,以及这一裁决是否会被后续案件引用,成为“AI 提示词注入是否构成程序滥用”的早期参考;二是主流文档处理 AI 工具是否会快速加入针对 prompt injection 的检测能力,并把它作为企业级功能推向市场;三是法律行业是否会出台更明确的 AI 使用规范,要求凡是使用大模型辅助阅读或生成文书的一方,主动披露流程与工具。
来源:<a href="https://www.404media.co/person-hides-prompt-injection-in-legal-filing-telling-ai-to-side-with-them" target


