五角大楼内部审查:过度依赖 Palantir Maven AI 系统导致误击伊朗学校、123 名儿童死亡

彭博调查披露,五角大楼一份未公开的内部审查认为,美军今年2月对伊朗米纳布一所小学的导弹打击中,对 Palantir 开发的 Maven Smart System 的过度依赖是三个失误之一,该袭击造成至少123名儿童死亡。这起事件把"AI 辅助目标推荐"的责任边界问题推到了台前。

一句话看懂:彭博调查披露,五角大楼一份未公开的内部审查认为,美军今年2月对伊朗米纳布一所小学的导弹打击中,对 Palantir 开发的 Maven Smart System 的过度依赖是三个失误之一,该袭击造成至少123名儿童死亡。这起事件把”AI 辅助目标推荐”的责任边界问题推到了台前。

事件核心:发生了什么

据彭博上周五报道,引述参与未公开审查的官员说法,2月伊朗战争首日,两枚”战斧”巡航导弹击中米纳布 Shajarah Tayyebeh 小学,造成逾150人死亡。审查描述了三重失误:过时情报、过时卫星图像,以及对 Palantir Maven Smart System 的过度信赖。该平台用于加速情报分析与决策,五角大楼近一年将其作为军事行动的核心工具。米纳布校区因数据库长期标注为伊斯兰革命卫队设施,被与其他候选目标一起输入 Maven,最终输出为”首日推荐目标”——原本需数小时的目标清单工作被压缩到几分钟。

报道称,美中央司令部部分人员误以为 Maven 会主动标记陈旧记录或情报矛盾,但系统本身并不承担底层数据质量责任。Palantir 发言人回应称,公司”不负责底层数据,也不负责识别情报缺陷”,且无证据显示其软件存在过错。袭击后,Palantir 新增了对底层情报”二次审查”的功能,用于标记人工审核可能遗漏的不一致与不准确信息。

为什么重要

这并非单纯的军事伦理争议,而是 AI 系统在高风险场景落地时”责任真空”的典型案例。当 AI 输出被当作决策依据,用户倾向于高估系统的判断能力,而供应商又明确将数据质量责任划归政府一方——这种分工在低风险业务中尚可运转,在致命性决策中会导致无人真正兜底。目前公开信息显示,五角大楼尚未公开回应,称调查仍在进行;而联合国伊朗问题独立国际事实调查团本周认定,美方”未能尽到一切可行核实义务”,其失误”超出一般疏忽”,有合理理由认为构成战争罪中的无差别攻击。

对用户/开发者/创作者的影响

对开发 AI 决策辅助工具的团队而言,这起事件提示两点:一是需要明确系统能力边界,并在产品界面中主动暴露不确定性,而非让用户自行假设;二是数据链路与模型推理的权责切分必须在合同与技术文档中写清楚。对企业采购方,评估 AI 工具时不能只看推理速度与推荐准确率,还要看它如何处理冲突信息和过时输入。对内容与信息行业,类似”AI 推荐 + 人工快速确认”的流程若缺乏交叉验证机制,同样可能放大错误。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是五角大楼这份”近乎完成”的内部报告何时公开,以及是否会影响 Maven 后续合同;二是 Palantir 新增的”二次审查”功能能否被独立验证有效,还是仅作为事后补救;三是国会层面已有超过120名众议院民主党人致信国防部长,相关质询是否会推动 AI 军事应用的合规审查机制落地。

来源:Hacker News:AI 热帖

celebrityanime
celebrityanime
文章: 25280

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注