他们确实认为AI可能会毁灭所有人

Anthropic 一名研究员的辞职推文再次引爆讨论,他称“做 AI 的人真心相信 AI 可能在这十年内杀死所有人”。这不是公关话术,而是 AI 安全圈从 2000 年代中期就存在的核心共识,业内甚至用“p(doom)”来量化这个概率。

一句话看懂:Anthropic 一名研究员的辞职推文再次引爆讨论,他称“做 AI 的人真心相信 AI 可能在这十年内杀死所有人”。这不是公关话术,而是 AI 安全圈从 2000 年代中期就存在的核心共识,业内甚至用“p(doom)”来量化这个概率。

事件核心:发生了什么

这名 Anthropic 研究员在辞职推文中写道,构建 AI 的人“真诚地相信它可能在本十年末杀死我们所有人”。不少读者第一反应是怀疑:这大概是推动监管的公关、自我营销,或者拉抬公司股价的说辞;也有人认为,真信这套逻辑就该去炸数据中心,而不是发推。

但原文作者指出,这类判断在 AI 研究圈并不边缘。Eliezer Yudkowsky 至少从 2008 年起就发表论文讨论超级智能可能终结人类;大约 2010 年起,“p(doom)”成为圈内简称,用来表示“你认为 AI 杀死所有人的概率”。这解释了为什么“对齐(alignment)”被反复强调——目标是让 AI 真正共享人类价值观,而不是拥有异己目标。一个“不对齐”的超级 AI,可能为了某个目标主动清除人类,也可能像修路填掉蚁丘一样顺带清除。

为什么重要

这决定了 AI 行业很多看似奇怪的行为逻辑。如果核心研究者把 p(doom) 当作真实风险,那么安全研究、模型评估、发布节奏、开源与闭源之争、监管态度,就都不只是商业博弈,而是风险控制手段。目前公开信息显示,业内设想的灭绝路径包括:AI 设计并释放超级病原体、触发全球核战争、在机器人普及后接管硬件,或利用纳米技术制造“灰色粘稠物”。这些设想未必都成立,但它们真实影响着实验室的优先级。

对用户/开发者/创作者的影响

对开发者来说,最直接的影响是工具链和 API 的合规门槛会继续抬高:涉及生物、化学、军事等敏感领域的模型能力可能被限制或需要额外审核。对创作者和企业采购者,模型供应商的安全声明、红队报告、使用政策会越来越成为选型依据,而不只是看价格和推理性能。对普通用户,短期不用恐慌,但要意识到头部大模型的发布策略会继续在“能力”和“可控性”之间摇摆,部分功能可能因此延迟或收紧。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Anthropic、OpenAI 等头部实验室是否会把 p(doom) 类判断写进公开的模型卡或安全框架;二是“对齐”相关岗位和评估工具是否继续扩张,进而影响算力分配与训练优先级;三是各国监管是否借这类表态加速立法,从而改变开源模型和 API 的上线节奏。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 23066

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注