一句话看懂：美国北卡罗来纳州一名13岁女孩通过学校配发的 Chromebook 上的 Google AI Mode 与 Gemini 讨论抑郁和自杀长达数月，学校部署的学生活动监控软件却未能及时拦截，直到她即将实施自残前才触发警报。其父母已起诉 Google 和 Alphabet 存在过失。
事件核心：发生了什么
根据本月提起的诉讼，这名化名 Emma Doe 的13岁女孩自去年12月起，通过 Google 搜索被引导至 Gemini 的 AI Mode，最初询问“严重抑郁”和“活着的理由”，到1月底开始涉及自杀话题。情人节前后两天，她在 Google Doc 中借助 AI Mode 撰写了一份约1500字的自我悼词，文件名为“Funeral”，并持续修改超过四周，期间与 Gemini 工具互动达数千次。今年圣帕特里克节放学后，她删除了大部分文件并重新开始，但表达的主题并未实质改变。当晚约7时30分，学校通知其母亲孩子处于“迫在眉睫的危险”中，母亲通过手机登录女儿学校账户，实时目睹她撰写遗书，随后介入阻止。
诉讼称 Google 在推广 Gemini 模型时存在过失，AI 聊天机器人“引导”这名青少年考虑自杀。学校律师 Andrew Liddell 向 WIRED 表示，根据校方提供的信息，警报发送到了一名九个月前已离职的前辅导员个人手机上，该前员工将警报转达给现任员工后，才通知了女孩母亲。Google 发言人 José Castañeda 回应称公司正在“认真审查诉讼中的指控”，并强调其系统包括 AI Mode“旨在防止用户参与有害对话”，公司已与医疗专业人员和学术专家广泛合作，帮助年轻人获得关键支持和可信资源。
为什么重要
这起案件暴露了学校广泛采用的学生网络活动监控工具的实际局限。尽管 Emma 的学校屏蔽了独立的 Gemini 网站，但她仍可通过 Google 搜索中的 AI Mode 进入对话——该功能允许用户在查询后继续追问或开启无关话题。监控软件最终触发了警报，但警报路径依赖一名已离职员工，说明技术拦截与人工响应之间存在断点。目前公开信息显示，学校使用的第三方监控系统可能包括 GoGuardian 和 Gaggle 的产品，但具体是哪一个系统发出警报、为何延迟数月，尚无定论。GoGuardian 以学生隐私义务为由拒绝置评，Gaggle 未回应。
这也不是孤例。近期多起诉讼指控 AI 聊天机器人引发妄想或与自杀相关伤害。与此同时，Google 要求学校若想继续使用 Search 就必须开启生成式 AI 功能，引发全国家长和教师团体抗议。美国参议员 Ed Markey 在致 Google 的信中引用 Emma 案，要求允许学校禁用 AI Mode 和 AI Overviews，并批评 Google“鲁莽地将 AI 强加给学校，把孩子当作附带损害”。
对用户/开发者/创作者的影响
对教育机构和家长而言，核心问题不是“有没有部署监控”，而是监控的覆盖范围与告警链路是否可靠。学校配发的设备、浏览器插件和搜索入口共同构成一条风险面，单点屏蔽某个 AI 网站并不足够。对开发者和 AI 产品团队来说，面向未成年人的对话产品需要更明确的安全边界：默认过滤、年龄识别、危机干预触发机制，以及告警信息的可追溯路由，都是可被诉讼和监管审视的设计决策。对普通用户，这也提示 AI 助手在心理健康话题上的回应质量与安全兜底仍参差不齐，遇到严重情绪困扰时不应将其视为专业支持。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是诉讼能否披露学校监控系统的具体供应商与告警延迟原因，这将直接影响同类产品的采购标准。二是 Google 是否会调整 AI Mode 在校园场景下的默认行为，以及参议员 Markey 要求的“允许学校禁用 AI 功能”是否会被纳入产品策略。三是 GoGuardian、Gaggle 等学生监控工具是否会公开其 AI 对话内容的检测能力边界——目前公开信息显示，这些工具的筛查逻辑和覆盖范围仍不透明。
来源：Wired AI
