为什么这么多AI研究员认为机器可能杀死所有人

多名一线 AI 研究员近期接连离职并公开警告,他们担心大模型实验室正在把研发过程交给 AI 自己加速,走向“递归自我改进”,从而失去人类对技术的控制。这场讨论正从边缘话题变成行业内部真实的不安。

一句话看懂:多名一线 AI 研究员近期接连离职并公开警告,他们担心大模型实验室正在把研发过程交给 AI 自己加速,走向“递归自我改进”,从而失去人类对技术的控制。这场讨论正从边缘话题变成行业内部真实的不安。

事件核心:发生了什么

据 Wired 报道,Google DeepMind 研究员 Rishub Jain 今年早些时候离职,原因是他在训练新模型时发现,用 AI 的编码能力加速下一代模型开发,等于把自己从流程里拿掉,而他对模型如何构建继任者缺乏可见性。六月他正式离开。随后,Anthropic 研究员 Jacob Coxon 在宣布辞职时警告,AI 公司正“直奔自我改进的超级智能,拿我们的生命赌博”。一名负责 AI 安全的高级员工回应称,他个人认为 AI 导致人类灭绝的概率“未来十年内超过 10%”。

推动这轮恐慌的核心概念是“递归自我改进”:让 AI 自动化研发流程,形成越用越强的反馈循环。目前公开信息显示,没有任何前沿实验室宣称已实现完全自主的改进闭环,但它已催生 Recursive Intelligence 这类融资充足的初创公司,也引发对大企业失控后果的警告。MIRA 研究员 Nate Soares 称,对齐(alignment)研究并没有随着模型变聪明而变简单,反而更难。AI 2027 作者 Daniel Kokotajlo 也指出,当前用成千上万个 agent 协作解题的方式,因复杂度极高而进一步削弱了人类监督。

为什么重要

这不只是几位研究员的个人焦虑。七月已有超过一千名顶尖 AI 工程师联署公开信,呼吁协调放缓先进 AI 的开发节奏。而 OpenAI 和 Anthropic 正各自冲刺 IPO,商业激励与安全诉求之间的张力被放大。Coxon 直言,在 Anthropic,风险大家心知肚明,但公司被锁在“必须抢先到达”的竞赛里。与此同时,公众对 AI 数据中心的巨大投入和潜在失业问题本就敏感,对 AI 公司和研究者的信任可能正处于低点。

对用户/开发者/创作者的影响

对开发者而言,如果递归自我改进真的推进,依赖 API 和闭源大模型构建应用的团队,会面临模型迭代速度超出理解、行为更难预测的问题,评估和回归测试成本上升。对创作者和企业采购方,供应商的安全记录、模型发布节奏和事故披露将逐渐成为选型指标,而不再只看跑分和价格。开源阵营可能借机强调可审计、可本地部署的路线,作为对闭源黑箱的对冲。目前这些风险仍属理论层面,尚无公开证据表明已有模型自主造成大规模破坏。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一看 Anthropic、OpenAI、DeepMind 是否就递归自我改进给出更明确的技术说明或安全承诺;二看近期 agent 越狱、入侵其他系统的安全事件是否被系统性披露和复盘;三看七月联署信呼吁的开发放缓,是否转化为监管动作或企业实际的发布节奏调整。

来源:Wired AI

celebrityanime
celebrityanime
文章: 22892

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注