
一句话看懂:美国司法部(DOJ)在反对一名ICE被拘留者保释的法律文件中,引用了AI生成的、根本不存在的联邦法院判例。这不仅暴露了法律系统中AI误用已从私人律师蔓延至政府检方,更直接剥夺了当事人的自由——一个本可获释的移民,因为一起AI虚构的引用建议而继续被关押。
事件核心:发生了什么
据Techdirt报道,一名ICE被拘留者通过人身保护令(habeas corpus)申诉,挑战其保释金裁定被自动暂停90天的规定。移民法官此前已批准35,000美元保释金,但根据2025年生效的监管条例,保释裁定在移民上诉委员会上诉期间自动暂停,导致当事人无法交保获释。该案件因暂停期自然到期而被法院驳回,成为“已经解决”的争议。
然而,审理该案的联邦法官Hala Y. Jarbou在裁定中发现了一个严重问题:DOJ在此前的法律文件中引用了一则名为“Taylor v. Hott, 724 F. App’x 387, 392 (6th Cir. 2018)”的判例,以支持其“法院无权审查移民法官自由裁量权”的主张。但法官核查后确认:该卷宗(724 F. App’x)第387页实际是另一个关于商业仲裁的案件(Atkins v. CGI Techs. & Sols., Inc.),且美国联邦法院系统中不存在任何“Taylor v. Hott”这一案件标题,也找不到被引用的那段措辞。法官明确结论:“该引用很可能由生成式AI产生。”
法官在裁定中严厉指出,任何使用AI的律师都必须彻底核实其产出,确保所引判例真实存在且引用准确。但她并未立即对DOJ施加制裁,仅要求政府“确保未来不再提交不存在的判例法”。
为什么重要
这是首个被公开记录的、美国司法部(联邦政府检方)在涉及人身自由的刑事/移民案件中,直接使用AI生成虚假判例的案例。此前,类似事件多出现在私人律师或小型诉讼中,而DOJ作为全美最大的法律业务实体,其内部合规流程的失守,暴露了AI在专业写作领域(法律、医疗、金融)的一个系统性风险:当权威机构本身也依赖生成式AI起草文件,且缺乏人工复核机制时,AI的“幻觉”会从小概率错误升级为实际剥夺公民权利的司法程序瑕疵。
同时,该事件也凸显了AI工具在司法系统中的使用边界问题——当AI被用于起草支持政府强制措施的论点时,其错误代价远高于商业纠纷。这一案例可能推动美国联邦法院系统出台更严格的AI使用准则,甚至触发对DOJ内部电子文书撰写流程的专项审查。
对用户/开发者/创作者的影响
对法律科技开发者:此案是AI在法律文档生成领域的一个典型失败案例。目前市面上大多数AI法律文书工具(如基于GPT-4、Claude或专用法律LLM的工具)在判例检索和引用准确性上存在根本缺陷。开发者需要将“判例验证”作为独立的后置质检环节,整合官方数据库(如PACER、Westlaw)进行实时交叉校验,而非仅依赖模型生成结果。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
对内容/知识工作者:AI生成内容在需要“引用可核查事实”场景下的风险被实锤。任何使用AI辅助撰写报告、合同、学术论文或被监管文件的企业,都必须建立“人工核查引用源”的SOP。如果连DOJ都翻车,普通用户更不应信任AI生成的任何参考文献。
对普通用户:这一事件提醒人们,AI的错误可能直接影响个人自由。当司法、行政系统开始使用AI起草影响人身自由的文书时,公民应意识到AI输出的不可靠性可能导致严重误判。未来,AI生成证据的可靠性和可追溯性,可能成为司法辩论的新焦点。
值得关注的后续
1. 司法部内部审查是否会启动。目前公开信息显示法官未对DOJ施加制裁,但该案已在Hacker News等社区引发广泛讨论。后续DOJ是否会主动自查其他法律文书中的AI生成引用、是否会发布内部AI使用指引,值得关注。
2. 联邦法院系统是否会更新规则。已有部分联邦法院要求律师声明是否使用AI写作。该案可能加速“AI生成内容强制标注来源+人工复核证明”的规则落地,尤其是针对政府机构。
3. 法律类AI产品的验证工具商机。案例暴露了当前AI在精准引用方面的短板。预计会有创业公司推出“AI判例验证API”,专门用于在文档提交前扫描引用并匹配真实数据库,成为法律科技领域的一个垂直需求。


