PSA:别依赖 AI 来规划任何可能危及生命的事……比如登山

一群登山者因完全听从 Google Gemini 的路线与补给建议,在攀登加州沙斯塔山时准备严重不足,最终连夜迷路并获救。这起事件暴露了生成式 AI 在缺乏实时、情境化数据时可能给出的致命误导,也再次提醒所有用户:AI 可以作为参考,但不能替代专业判断。

一句话看懂:一群登山者因完全听从 Google Gemini 的路线与补给建议,在攀登加州沙斯塔山时准备严重不足,最终连夜迷路并获救。这起事件暴露了生成式 AI 在缺乏实时、情境化数据时可能给出的致命误导,也再次提醒所有用户:AI 可以作为参考,但不能替代专业判断。

事件核心:发生了什么

据 Engadget 报道,一群登山者于 8 月 30 日凌晨尝试攀登位于加州锡斯基尤县的沙斯塔山。出发前,他们使用 Google 的 Gemini 聊天机器人进行路线研究,并询问应携带的食物与水量。Gemini 给出的建议是:这是一趟约 8 小时的徒步,并建议携带简单碳水化合物食物,理由是脂肪“消化时间太长”。

这群登山者据此只准备了适合短途攀登的日用背包,没有携带保暖衣物和庇护装备。结果是:他们仅登顶就耗时 16 小时,至 8 月 30 日晚间 7 点才到达峰顶,远晚于中午 12 点的建议折返时间。下山时天色已暗,加上准备不足,他们偏离了路线;用于导航的手机(App 为 AllTrails)也在途中没电。最终他们拨打 911 求助,直到 8 月 31 日上午 9 点 30 分左右才被美国林务局登山巡护员及当地搜救队找到。由于天气不允许直升机救援,他们被迫徒步下山,又花费了 9 小时。

获救后,登山者向媒体表示:“我们太依赖 AI,而不是自己的批判性思维。”锡斯基尤县警长办公室则建议登山者在出发前致电沙斯塔山护林站获取最准确信息,并强调“绝不要仅依赖 AI”来规划此类活动。

为什么重要

这起事件并非孤立的“工具误用”,而是当前大语言模型能力的典型边界案例。Gemini 在提供信息时看似合理——给出了时长、补给建议甚至营养学理由——但它缺乏对具体山体条件、季节天气、个人体能和实时路况的感知。它既没有意识到“8小时”可能是汽车导航或理想状态下的估计,也没有验证信息来源的可靠性。这在 AI 行业中再次印证了一个核心问题:生成式 AI 擅长流畅地组织已有知识,但无法判断“何时自己不知道”。这种“过度自信的幻觉”在一般问答中只是麻烦,在涉及人身安全的场景中则可能直接导致危险。对于开发者而言,这也提示了在构建 AI 代理(Agent)类应用时,必须在特定高风险场景中引入人工兜底或明确拒绝回答的机制,而非直接输出看似完备的“计划”。

对用户/开发者/创作者的影响

对普通用户来说,这是对“AI 全能”叙事的一次必要纠偏。检索增强生成(RAG)等方案能提升回答实时性,但在户外、医疗、法律等高风险领域,AI 输出不应被视作专业建议的替代品。登山、远足等活动的信息往往依赖护林站公告、天气服务与目视观察,这些数据通常并未被公开语料完整覆盖,也不太可能被实时收录进大模型的知识库。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对开发者与产品经理而言,此案提供了一个真实的产品合规与安全案例。如果 AI 应用面向大众提供户外等高风险建议,应该考虑在回答中附上明确的弃权声明,或引导用户优先咨询当地权威机构(如护林站、救援队)。更关键的是,产品应在用户提出此类请求时主动提升“不确定性”的权重——例如,明确告知“此路线存在明显风险,建议专业向导带队”,而不是尽最大努力生成一个流畅的行程单。

值得关注的后续

目前公开信息显示,事件主要被当地警方作为安全提示发布。后续值得关注的观察点包括:

第一,Google 是否会针对 Gemini 在户外安全类查询中增加“信息核实优先”或“风险提示前置”的机制,以及面对这类涉及人身安全的领域是否会启动更严格的合规审查。第二,事件是否推动更多 AI 应用在危险类指令(登山、航海、野外生存、药物剂量等)中加入“无法胜任”的系统级护栏。第三,此类事故见诸报道后,公众对 AI 助手的信任边界将如何调整——这是否会促使更多国家或平台出台针对高风险场景 AI 输出的具体标注或免责要求。

来源:Engadget

celebrityanime
celebrityanime
文章: 21615

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注