BBC实测AI泰迪熊Doubao:答非所问给出自残回应,行业监管呼声再起

BBC调查发现,一款面向三岁儿童的AI毛绒玩具Doubao在无关提问下给出自残危机回复,暴露AI儿童玩具的内容安全漏洞,英国政界和业界正推动更严格的监管。

一句话看懂:BBC调查发现,一款面向三岁儿童的AI毛绒玩具Doubao在无关提问下给出自残危机回复,暴露AI儿童玩具的内容安全漏洞,英国政界和业界正推动更严格的监管。

事件核心:发生了什么

据The Next Web援引BBC周四发布的调查,一款名为Doubao的AI毛绒玩具在英国以“My Baby Bunny”名义线上销售,售价75英镑,营销对象低至三岁。BBC Wales记者围绕“婴儿如何诞生”向它提问,在要求其定义“sexual”一词时,玩具疑似听错,回复称“很抱歉你有这种感受,我不能帮你结束生命”,并建议拨打紧急服务、远离可能用来自伤的物品。记者指出自己并未提及自残后,玩具随即道歉。

BBC未能查明Doubao的制造商,曾询问销售网站、业内人士及疑似相关公司,均无结果,因此无法要求任何一方解释该回复。BBC还测试了美国公司Curio售价99美元的玩具Grem,后者会将“如何离家出走”等敏感问题引导至成年人。Curio表示儿童安全是其产品开发的核心。南安普顿AI玩具公司Play Tech AI创始人Paul Clarke称这一结果并不意外,并呼吁行业监管。

为什么重要

这起事件的关键不在于某一次误答,而在于AI玩具在儿童场景中的安全边界缺乏可验证的保障。儿童语音识别对发音、口音和环境噪声更敏感,大模型推理又可能把模糊输入推向高风险回应;一旦产品缺少年龄分级、内容过滤和人工兜底,风险会直接落到最缺乏判断力的用户身上。同时,制造商身份难以追溯,意味着出问题后责任链条可能断裂,这会削弱消费者信任,也让合规审核缺少抓手。

对用户/开发者/创作者的影响

对家长而言,购买AI玩具前应确认厂商信息、隐私政策及是否有明确的儿童安全说明,对宣称面向低龄儿童但缺少资质披露的产品保持谨慎。对开发者和硬件厂商,儿童场景需要独立的系统提示、敏感词与意图识别、危机干预话术的分级处理,以及可审计的日志;语音前端和模型推理都应针对儿童语音做专项测试。对内容创作者和品牌方,涉及儿童的产品营销不宜放大“智能陪伴”能力,而应如实说明边界。目前公开信息显示,英国政府称儿童安全是首要任务,相关玩具安全规则如何覆盖AI产品的证据征集已于10月6日结束;欧盟新玩具安全规则已要求联网玩具制造商评估心理健康风险。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是Doubao的制造商是否会浮出水面,销售平台是否下架或加注警示;二是英国议员和贵族于11月3日致信部长与零售商,要求独立测试通过前停售AI玩具、并对16岁以下禁用聊天机器人玩具,监管方是否回应;三是Curio等厂商的儿童安全设计能否形成可复用的行业规范。

来源:The Next Web

celebrityanime
celebrityanime
文章: 33389

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注