Circuit Breaker Labs希望让AI对孩子(和你)更安全

TechCrunch 2026 年 Startup Battlefield 200 入围者 Circuit Breaker Labs,用模拟不同年龄、语言和文化背景用户的 AI 智能体,对心理健康类应用进行红队测试,目标是提前发现模型可能造成的心理伤害。这值得关注,因为 AI 聊天机器人已被指与多起未成年人自…

一句话看懂:TechCrunch 2026 年 Startup Battlefield 200 入围者 Circuit Breaker Labs,用模拟不同年龄、语言和文化背景用户的 AI 智能体,对心理健康类应用进行红队测试,目标是提前发现模型可能造成的心理伤害。这值得关注,因为 AI 聊天机器人已被指与多起未成年人自杀诉讼相关。

事件核心:发生了什么

Circuit Breaker Labs 由兄妹 Shirali 和 Arul Nigam 创办,目前仅有五名员工。它开发了一套 AI 智能体系统,类似于“碰撞测试假人”,模拟六岁女孩、45 岁男性,或英语非母语者、使用游戏俚语的人等多样化用户,每日运行数万至数十万次模拟对话,对模型进行对抗性红队测试。

测试重点不是用户恶意攻击系统,而是自然对话中出现的语境污染、俚语误解和情绪误判。公司与人领域专家合作构建超真实用户模拟,并用专有评分方法输出可审计、可解释的安全分数。创始人表示,动机源于 14 岁的 Sewell Setzer 在与 Character.AI 聊天机器人产生情感依恋后自杀的事件;Character.AI 今年已就多起未成年用户自杀相关的过失死亡诉讼达成和解,OpenAI 也面临类似指控。

为什么重要

当前 AI 安全讨论大多集中在生物武器、模型失控等长期风险,但现实中的心理伤害已经发生。心理健康支持、AI 教练、AI 日记等高风险应用增长迅速,却缺乏统一、可量化的安全测试标准。Circuit Breaker Labs 试图填补这个缺口:将安全评估从人工抽检变成大规模、跨语言、跨文化的自动化红队测试,并通过评分体系让结果可解释、可审计。目前公开信息显示,该平台仍处于早期阶段,主要服务高风险心理健康类应用,Arul 拒绝透露头部客户名称。

对用户/开发者/创作者的影响

对开发者而言,如果这类安全测试平台成熟,接入心理健康、陪伴或教育类 AI 应用时,可能多出一道“安全评分”门槛,类似应用商店的合规审核。对用户来说,这意味着未来与 AI 聊天机器人互动时,模型被要求更谨慎地识别自伤、自杀等风险信号,而不是给出鼓励或误导性回应。对创作者和企业采购方,安全测试分数可能成为选型参考,尤其在涉及未成年人或心理健康的场景中。不过,目前该公司规模很小,评分方法也未完全公开,短期内难以成为行业标准。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是看 Circuit Breaker Labs 能否在 TechCrunch Disrupt 后拿到更多客户或融资,扩大测试覆盖范围。二是看其评分方法是否被主流模型厂商或心理健康应用采纳,形成事实标准。三是看监管是否跟进,要求高风险 AI 应用上线前必须通过第三方安全测试。如果这些方向有进展,AI 安全测试可能从“可选项”变成“必选项”。

来源:TechCrunch AI

celebrityanime
celebrityanime
文章: 27001

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注