Anthropic 早期员工与前 METR COO 找到了约束失控 AI Agent 的办法

Anthropic 早期员工 Rune Kvist 与前 METR COO Rajiv Dattani 创办 AIUC,用类似 SOC 2 的第三方审计与认证,给企业级 AI Agent 做安全“体检”。在 Agent 大规模进入企业采购清单的当下,这家公司拿到了 4000 万美元 A 轮融资。

一句话看懂:Anthropic 早期员工 Rune Kvist 与前 METR COO Rajiv Dattani 创办 AIUC,用类似 SOC 2 的第三方审计与认证,给企业级 AI Agent 做安全“体检”。在 Agent 大规模进入企业采购清单的当下,这家公司拿到了 4000 万美元 A 轮融资。

事件核心:发生了什么

AIUC(Artificial Intelligence Underwriting Company)由 Rune Kvist 和 Rajiv Dattani 创立。Kvist 是 Anthropic 早期员工,Dattani 曾在 2024 至 2025 年担任 AI 安全研究机构 METR 的 COO,目前仍是其董事会成员。公司客户包括 Cursor、Lovable、Harvey 和 ElevenLabs。

融资方面,AIUC 于周二宣布完成 4000 万美元 A 轮,由 Ribbit Capital 领投,First Harmonic 参投;此前还获得 Nat Friedman 旗下 NFDG、Emergence、Terrain 以及 Anthropic 联合创始人 Ben Mann 等参与的 1500 万美元种子轮,累计融资 5500 万美元。

产品层面,AIUC 参照广泛使用的网络安全标准 SOC 2,制定了名为 AIUC-1 的标准,并配套测试服务。其标准由约 250 名安全与风险负责人组成的联盟参与制定,这些人是企业采购 Agent 的实际决策者。测试环节包含约 5000 项测试,覆盖越狱、幻觉、数据泄露等场景,最终生成约 100 页报告,标明 Agent 在哪些方面安全可靠、哪些方面存在风险。测试与数据分析由 AI 执行,但最终审计结论由人工核验。

为什么重要

当前企业拒绝部署 AI,往往不是因为模型不够聪明,而是因为无法向客户保证系统“会做什么、不会做什么”。Kvist 的判断是:AI 越强,反而越难采用、越难控制。这正好切中了 Agent 商业化最现实的堵点——信任与责任归属。

AIUC 的思路与 Anthropic CEO Dario Amodei 近期的公开主张方向一致:他曾呼吁行业放慢前沿开发节奏,并提出让前沿实验室引入嵌入式第三方评估者来观察和验证安全性,METR 被其点名为可能选项。AIUC 虽不嵌入客户现场,但逻辑相同——给企业一份独立的安全评估,作为采购决策依据。目前公开信息显示,这类面向 Agent 的第三方认证层仍属早期,尚未形成行业统一标准。

对用户/开发者/创作者的影响

对企业采购方而言,AIUC-1 这类认证可能逐步成为筛选 Agent 供应商的前置条件,类似今天采购 SaaS 时看 SOC 2 报告。对开发 Agent 的团队来说,一份约 100 页的测试报告既是合规材料,也可能暴露产品在越狱防护、幻觉控制、数据隔离上的短板,倒逼工程投入。对创作者和普通用户,短期内直接影响有限,但认证若普及,会间接影响你所用 AI 应用在数据安全和输出可靠性上的表现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 AIUC-1 能否被更多企业写入采购标准,形成事实上的行业门槛;二是测试方法与定价是否公开透明,避免认证变成营销标签;三是 METR、前沿实验室及监管方是否会推出类似或互认的评估机制,进而影响 Agent 上线节奏。

来源:TechCrunch AI

celebrityanime
celebrityanime
文章: 23597

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注