一句话看懂:美军一名分析员借助聊天机器人分析情报,把中国船只误判为运送核武器部件,军方一度准备派空中支援拦截登船,直到发现是 AI 幻觉。这是目前公开报道中最接近“因 AI 出错引发军事冲突”的一次警讯。
事件核心:发生了什么
据 CNN 报道,美国特种作战司令部一名分析员在撰写情报报告时,使用了聊天机器人处理有关一艘中国船只货单的情报。该工具将政府持有的开源情报与机密信号情报“融合”在一起,最终生成了一份“完全失实”的报告,称这艘船正途经中东运送核武器项目部件。四名知情人士称,美军已准备实施拦截并登船检查,并配有空中支援,直到官员发现生成报告的聊天机器人“错误识别了船上货物”。一名消息人士对 CNN 表示,这场由 AI 引发的风波“几乎引发一场战争”。
为什么重要
这次事件把大模型幻觉的危害从“内容质量”推到了“安全决策”层面。此前我们已经见过非虚构作者、记者、学术研究者、法官、医生、警察部门被 AI 编造的信息误导,而这次涉及的是军事行动。与此同时,美国国防部正在加速把 AI 推入核心流程:2024 年 1 月推出“AI 加速战略”,12 月宣布以 Google Gemini for Government 为基础搭建 GenAI.mil 平台,随后又把 Grok for Government 列为选项,Anthropic 也为美国情报工作提供定制版 Claude。五角大楼代表同年 6 月向国会表示,已有 150 万现役人员使用军方生成式 AI 工具。现实是,模型在公司自建平台、闭源 API 和机密系统里的输出,正被当作可执行的情报依据,但业界对幻觉是否可彻底消除仍无共识。
对用户/开发者/创作者的影响
对开发者而言,关键不是“提示词写得好不好”,而是产品架构里有没有把模型输出当成事实来源。涉及事实核查、合规、情报、医疗、法律等高代价场景,需要引入原始数据回溯、置信度标注和人工复核,而不是把大模型的推理结果直接写入下游流程。对企业采购方,这次事件说明评估 AI 工具时不能只看准确率基准,还要看它在“训练数据不足时会编造”这一失败模式下的表现。对内容创作者,AI 生成的引述、数据、来源必须逐条核对,尤其是涉及政治、军事、国际关系的题材——一个错判可能带来的后果远超一次普通的错误引用。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
第一,美国国防部是否会调整 GenAI.mil 及相关平台的部署规则,明确哪些情报环节禁止使用生成式 AI 或必须强制人工复核。第二,事件调查是否会公开聊天机器人的具体模型和接入方式——目前公开信息显示 CNN 未披露工具名称。第三,在 AI 研究者持续发出“灭绝级”风险警告、前沿实验室呼吁监管与“节奏协调”的背景下,此次近乎失控的案例可能成为美国国内推动军事 AI 问责机制的新依据。
来源:Ars Technica


