AI幻觉险些触发美军行动

今年春季,美军一次针对中国船只的武装行动在军机已经升空后被紧急叫停,原因是驱动该行动的情报出自一个 AI 聊天机器人的“幻觉”。这起事件把大模型错误如何沿指挥链上行的问题,摆到了军事决策桌面上。

一句话看懂:今年春季,美军一次针对中国船只的武装行动在军机已经升空后被紧急叫停,原因是驱动该行动的情报出自一个 AI 聊天机器人的“幻觉”。这起事件把大模型错误如何沿指挥链上行的问题,摆到了军事决策桌面上。

事件核心:发生了什么

据 CNN 报道,事件发生在今年春季,当时美国正处于与伊朗的战争期间。一份在指挥系统内流转的情报报告称,某艘中国船只运载着用于核武器计划的部件,并据此启动了武装行动。军机升空后,美方官员发现情报有误,行动在最后一刻被中止,避免了一次可能与中国发生的冲突。

错误的源头是一名特种作战司令部分析师。他先向一个 AI 聊天机器人提问,要求把开源数据与机密信号情报综合起来,机器人误判了该船的货物清单。随后他又用同一工具,把这些错误结论整理成一份格式正式的情报摘要,并通过指挥渠道分发出去。

为什么重要

五角大楼近年明确把 AI 视为缩短“杀伤链”、加快决策速度的关键手段,以维持对中国的优势。但这起事件暴露了同一枚硬币的另一面:让 AI 提速的机制,也会让未经充分人工核验的错误一路向上传递,直到有人察觉。目前公开信息显示,问题不在于模型能力不足,而在于错误被自动化地“包装”成了可信度更高的正式文件。

GovAI 研究学者、美国陆军退伍军官 Jake Steckler 对 TechCrunch 表示,军人需要理解大语言模型固有的不确定性,在涉及目标选择、情报分析、作战规划这类可能导致使用武力的决策上尤其关键,因为这些决定有生死后果。他强调,这起事件应被视为增加防护措施的呼吁,而不是回避 AI 的理由——但把采用速度置于一切之上,只会让军人失去对系统的信任,最终拖慢采用。

对用户/开发者/创作者的影响

对开发者和企业采购方而言,这件事的核心教训是“输出格式的可信度”不等于“内容的可信度”。当模型被用来把零散信息整理成报告、摘要或 JSON 结构时,它同时也在为可能的错误背书。在金融、医疗、法务、国防等高风险场景,检索增强、来源标注、二次人工复核和审计日志不该是可选功能,而应是上线前提。对普通用户,这也是一个提醒:聊天机器人在你没有能力核验的领域给出越像模像样的答案,越需要警惕。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是看美国国防部是否会在情报综合、作战规划类 AI 应用上引入强制的人工复核或来源追溯要求;二是看这起未遂事件是否进入国会听证或独立调查报告,形成可核查的细节;三是看模型供应商会否针对“把错误结论格式化成正式文件”这一类用法,推出更明确的使用限制或风险提示。

来源:TechCrunch AI

celebrityanime
celebrityanime
文章: 24349

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注