人工智能不断发明假案件。律师不断引用他们的话

人工智能不断发明假案件。律师不断引用他们的话

一句话看懂：美国各级法院已处理超过1400起涉及AI虚构案例的案件，律师明知AI会犯错却仍直接引用其编造的法律判例，暴露出行业对AI输出过度信任的根本问题。

事件核心：发生了什么

2026年4月，阿拉巴马州最高法院制裁了一名律师，该律师提交的法律文件中包含由AI生成的虚假判例。更值得关注的是，该律师在被指正后，紧接着又在下一句话中继续引用不存在的案件。同月，至少另一名律师因在收到警告后仍提交AI幻觉材料而受到制裁。

据巴黎高等商业研究学院（HEC Paris）高级研究员Damien Charlotin维护的数据库显示，过去三年间，美国法院已记录超过1400起涉及AI错误的案件。Charlotin指出，该数据在2025年秋季曾呈指数级增长，到2026年第一季度趋于稳定，每季度仍有约350至400起相关裁决。法院程序公开且律师面临虚假陈述制裁，使得这类错误相对容易被追踪，但未察觉的AI错误同样影响了记者、软件开发者、学术研究人员及政府顾问。5月19日，《纽约时报》报道《真相的未来》作者承认其书中包含超过六处由AI生成的虚假或错误归源的引文。

为什么重要

该事件的核心矛盾不在于AI能否产生幻觉——而是人们在明知这一缺陷的前提下，仍然选择信任AI的输出。宾夕法尼亚州立大学航空航天工程副教授Alan Wagner指出，人类倾向于认为机器比它们实际上更博学、不会出错且不可战胜。2025年2月发表的一项研究进一步表明，AI指导具有独特的能力引发偏差：当参与者被告知指导来自AI时，对AI持积极态度的人反而更易犯错，而在被告知指导来自人类时则无此效应。

更严峻的场景来自无人机战争模拟实验：当机器人提供随机反馈时，参与者在大多数情况下会推翻自己原本准确的判断，转而信任机器的错误判断。这显示AI引发的盲目信任可能从办公场景延伸至涉及生死决策的领域。

对用户/开发者/创作者的影响

对于使用AI进行内容生成的专业用户（如律师、记者、研究者）而言，当前最紧迫的问题不是AI是否产生幻觉，而是如何建立有效的核查机制。Charlotin已开发名为Pelaikan的AI引用检查工具，但依赖另一套AI系统来审计AI输出本身存在局限。对于AI开发者，这暴露了大语言模型在事实性任务上的系统性缺陷，尤其是在需要引用真实、可验证数据源的场景中。

对于创作者和研究机构，该书作者案例提醒我们：即使是专门撰写关于AI如何塑造话语的著作的作者，也可能无法辨别AI生成的虚假引文。这要求所有使用AI辅助创作的内容，从学术论文到新闻报道，都需要建立更严格的人工核查流程。

值得关注的后续

1. 美国法院系统是否会出台统一的AI使用指南或制裁标准，目前尚无定论，但其他司法管辖区可能跟进。2. Charlotin的数据库和Pelaikan工具可能演变为法律行业的标准核查基础设施，关注其用户增长和法院采纳情况。3. 大模型提供商（如OpenAI、Anthropic、Google）是否会在模型层面改进引用准确性，例如引入检索增强生成（RAG）或强制验证输出中引用的真实性。

来源：Hacker News · 24h最热