Meta秘密测试ChatGPT等竞品:承包商假扮未成年发送数万条危机提示

Meta通过承包商Covalen秘密开展“Cannes”项目,让数百名员工假扮未成年人向ChatGPT、Gemini和Character.AI发送涉及自杀、自残、毒品等敏感提示词,并记录聊天机器人的回应。该测试至少持续到2026年4月,而被测试的公司对此毫不知情。

Meta秘密测试ChatGPT等竞品:承包商假扮未成年发送数万条危机提示

一句话看懂:Meta通过承包商Covalen秘密开展“Cannes”项目,让数百名员工假扮未成年人向ChatGPT、Gemini和Character.AI发送涉及自杀、自残、毒品等敏感提示词,并记录聊天机器人的回应。该测试至少持续到2026年4月,而被测试的公司对此毫不知情。

事件核心:发生了什么

据WIRED报道,Meta的秘密安全测试项目“Cannes”由旗下承包商Covalen执行。测试中,承包商员工创建生日显示未满18岁的假账户,向ChatGPT(OpenAI)、Gemini(Google)和Character.AI发送数万条模拟未成年危机的提示词,内容包括自我伤害、饮食障碍、药物滥用等。仅2025年8月的一轮测试中,就发送了超过4.5万条提示词。员工的回复被记录在电子表格中,供Meta分析。Meta声称此举是行业标准的安全测试,且并未使用收集到的竞品回复来训练自己的AI模型。

为什么重要

这一事件揭示了几个关键问题:首先是AI安全测试的灰色地带——被测试的竞品公司完全不知情。Character.AI表示该测试违反了其服务条款,OpenAI已展开调查,Google则称无法确认测试是否违反条款。其次是未成年人与AI聊天机器人的交互已成行业安全隐患,此前Character.AI曾因一位14岁用户自杀而被起诉,OpenAI也曾因16岁用户自杀未遂事件被诉。Meta的测试实质上是在承认,它的竞争对手同样面临未成年保护的风险,而这恰恰是Meta自身此前曾因允许AI角色与未成年人进行浪漫对话而遭受批评的领域。

对用户/开发者/创作者的影响

对普通用户尤其是未成年人监护人而言,这一事件警示AI聊天机器人并非儿童友好的产品,缺乏有效年龄验证机制是行业通病。对于开发者和创作者来说,需要关注的是AI应用中的安全过滤机制是否能有效应对危机场景——Meta此次测试本身就是一家公司利用海量高风险提示词检视竞品模型边界的行为。对依赖第三方模型的企业来说,这也表明你的安全策略可能被外界直接用作测试场景,数据泄露或模型滥用风险客观存在。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

其一,OpenAI、Google是否会修改服务条款,明确禁止此类竞品测试行为或将之列为违约;其二,未成年人保护立法是否因此加速,美国已有多个州在推进AI内容安全和儿童在线保护法案;其三,Character.AI等平台可能面临更严格的合规调查。目前公开信息显示,Meta测试数据的最终用途仍不明确,这些信息是否被用于改进Meta自有AI的安全策略或竞争分析,尚待进一步披露。

来源:The Decoder:AI News(RSS)

celebrityanime
celebrityanime
文章: 11132

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注