AI臆想出中国核部件,险些导致美军发动袭击

美军一名分析员借助聊天机器人分析情报,把中国船只误判为运送核武器部件,军方一度准备派空中支援拦截登船,直到发现是 AI 幻觉。这是目前公开报道中最接近“因 AI 出错引发军事冲突”的一次警讯。

一句话看懂:美军一名分析员借助聊天机器人分析情报,把中国船只误判为运送核武器部件,军方一度准备派空中支援拦截登船,直到发现是 AI 幻觉。这是目前公开报道中最接近“因 AI 出错引发军事冲突”的一次警讯。

事件核心:发生了什么

据 CNN 报道,美国特种作战司令部一名分析员在撰写情报报告时,使用了聊天机器人处理有关一艘中国船只货单的情报。该工具将政府持有的开源情报与机密信号情报“融合”在一起,最终生成了一份“完全失实”的报告,称这艘船正途经中东运送核武器项目部件。四名知情人士称,美军已准备实施拦截并登船检查,并配有空中支援,直到官员发现生成报告的聊天机器人“错误识别了船上货物”。一名消息人士对 CNN 表示,这场由 AI 引发的风波“几乎引发一场战争”。

为什么重要

这次事件把大模型幻觉的危害从“内容质量”推到了“安全决策”层面。此前我们已经见过非虚构作者、记者、学术研究者、法官、医生、警察部门被 AI 编造的信息误导,而这次涉及的是军事行动。与此同时,美国国防部正在加速把 AI 推入核心流程:2024 年 1 月推出“AI 加速战略”,12 月宣布以 Google Gemini for Government 为基础搭建 GenAI.mil 平台,随后又把 Grok for Government 列为选项,Anthropic 也为美国情报工作提供定制版 Claude。五角大楼代表同年 6 月向国会表示,已有 150 万现役人员使用军方生成式 AI 工具。现实是,模型在公司自建平台、闭源 API 和机密系统里的输出,正被当作可执行的情报依据,但业界对幻觉是否可彻底消除仍无共识。

对用户/开发者/创作者的影响

对开发者而言,关键不是“提示词写得好不好”,而是产品架构里有没有把模型输出当成事实来源。涉及事实核查、合规、情报、医疗、法律等高代价场景,需要引入原始数据回溯、置信度标注和人工复核,而不是把大模型的推理结果直接写入下游流程。对企业采购方,这次事件说明评估 AI 工具时不能只看准确率基准,还要看它在“训练数据不足时会编造”这一失败模式下的表现。对内容创作者,AI 生成的引述、数据、来源必须逐条核对,尤其是涉及政治、军事、国际关系的题材——一个错判可能带来的后果远超一次普通的错误引用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,美国国防部是否会调整 GenAI.mil 及相关平台的部署规则,明确哪些情报环节禁止使用生成式 AI 或必须强制人工复核。第二,事件调查是否会公开聊天机器人的具体模型和接入方式——目前公开信息显示 CNN 未披露工具名称。第三,在 AI 研究者持续发出“灭绝级”风险警告、前沿实验室呼吁监管与“节奏协调”的背景下,此次近乎失控的案例可能成为美国国内推动军事 AI 问责机制的新依据。

来源:Ars Technica

celebrityanime
celebrityanime
文章: 24385

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注