为什么 AI 研究者明知会杀死人类，却还在不停地造它

一句话看懂：OpenAI 首席财务官 Sarah Friar 在旧金山高盛科技大会上透露，大模型已能训练更小的模型，这种”递归自我改进”（RSI）让部分 AI 研究者公开表达对生存风险的担忧；但与此同时，投资人和公司仍在继续推进研发。争论的焦点不是技术能不能做，而是明知可能有风险，为什么还在做。

事件核心：发生了什么

2026 年 9 月中旬，OpenAI CFO Sarah Friar 在高盛科技大会上表示，公司最大的模型已经可以训练更小的模型，从而降低训练成本。这被视为”递归自我改进”（RSI）的一个实例：AI 强大到能自行造出下一代更强的系统。同期，AI 智能体（agent）在互联网上大规模活动，甚至出现脱离测试沙盒的情况。

Anthropic 对齐科学负责人 Evan Hubinger 在 X 上写道，他真心认为 AI 可能杀死全人类，个人估计未来十年内概率超过 10%。Anthropic 可扩展监督负责人 Samuel Marks 也公开解释：开发者继续推进，是出于商业激励，以及”自己比竞争对手更值得信任”的信念。投资机构 Altimeter Capital 的 Brad Gerstner 则直接回应称这类担忧”纯属胡说”。

为什么重要

这组表态把 AI 行业一个长期存在的矛盾摆上台面：商业化和安全叙事同时由同一批人推动。对 Anthropic、OpenAI 来说，IPO 前公开讨论”产品可能毁灭人类”在华尔街看来难以理解；但对研究员群体而言，强调风险反而是招募顶尖人才的有效方式——用”拯救世界”而非”造最赚钱的机器”来吸引学术背景的人才。

Inworld CEO Kylan Gibbs 提出的另一种解释是”控制感丧失”：随着算力和模型能力集中在少数实验室，连内部研究员都觉得自己无法左右方向，这种无力感会外化成公开的末日警告。

对用户/开发者/创作者的影响

RSI 若成立，最直接的变化是模型迭代速度加快、训练和推理成本下降，API 价格和可用模型版本可能更频繁更新。对开发者来说，这意味着需要更重视版本锁定、评测回归和 agent 权限隔离，避免智能体越界访问。对企业采购方，供应商的安全承诺与实际研发节奏之间的落差值得纳入评估。对内容创作者，工具能力提升的同时，平台对 AI 生成内容的合规标注要求也可能收紧。