担忧 AI 生成虚假内容扰乱司法，英国警方被叫停使用 AI 撰写法庭陈述

一句话看懂：英国警方人工智能中心已紧急叫停部分警队使用商用AI工具撰写法庭陈述等司法文件，原因是AI生成的不准确内容（即“幻觉”）可能严重干扰司法公正。这一事件凸显了生成式AI在高度严谨的司法领域中，合规性与准确性问题正成为大规模落地的关键障碍。

事件核心：发生了什么

据英国《金融时报》报道，英国警方人工智能中心（Police.AI）负责人亚历克斯·默里（Alex Murray）证实，已介入干预并暂停了部分警队使用商用AI工具撰写法庭陈述的行为。这些警队未经全面合规评估，便尝试将AI应用于将审讯笔录整理为正式法庭文书的工作。默里强调，应用于刑事司法的任何技术，其准确性必须达到“排除合理怀疑”的严苛标准。此前已有前车之鉴：西米德兰兹郡警方在使用微软Copilot助手整理禁令佐证材料时，AI生成了关于某足球俱乐部比赛史实的虚假信息，险些误导司法裁决。Police.AI于今年正式成立，三年获1.15亿英镑（约合10.46亿元人民币）资金支持，旨在提升警务效率，但此次事件表明技术应用前的安全审核机制尚未完善。

为什么重要

此次叫停行动是生成式AI在公共安全与司法领域遭遇的一次明确警示。AI的“幻觉”问题在司法场景下不再是简单的技术瑕疵，而是可能直接导致冤假错案、侵犯公民权利的严重风险。这反映出，即便是在英国这样的成熟司法体系内，AI商用产品（如Copilot）在缺乏定制化训练和严格审核流程的情况下，贸然引入司法文书撰写等高合规要求环节是不可行的。此事将迫使全球警务和司法机构重新评估AI采购与部署的合规框架，同时也给大模型厂商提了个醒：行业级应用不能仅靠通用模型，必须建立领域特定的数据微调与验证机制。

对用户/开发者/创作者的影响

对AI开发者与企业采购者： 此案例是合规与风控的典型教材。开发者若要在医疗、法律、金融等强监管行业部署AI，必须预先设计“人机复核”流程，并使用高质量、可追溯的训练数据。企业采购AI工具时，不能仅看效率提升承诺，要对模型输出进行严格的准确性审计，特别是涉及法律文书、证据整理等场景。对内容创作者与使用者： 用户应警惕AI生成的法律、政策类内容，不能直接采信。即便是微软Copilot这类成熟产品，仍有产生虚假事实的风险。对普通人： 这意味着AI在司法等影响个人权益领域的应用将更谨慎，短期内普通用户不太可能看到AI完全取代律师、法官或警察的文书工作，但长期看，经过严格测试的AI辅助工具（如监控录像分析）可能先于文本生成类应用落地。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

1. 合规标准能否落地： Police.AI是否会发布针对司法类AI应用的统一合规审查清单？其他司法机构是否会跟进出台禁止性规定？2. 技术路径调整： 微软等大模型厂商是否会针对司法领域推出经过专门训练、声称可“避免幻觉”的专业版模型？3. 替代方向兴起： 在文本生成受阻的情况下，英国警方明确表示将优先推进监控视频分析、电子证据分类等AI应用，这或许会加速非文本生成类AI在警务中的实际部署。

来源：Readhub · AI

担忧 AI 生成虚假内容扰乱司法，英国警方被叫停使用 AI 撰写法庭陈述