超级智能即将到来。我们该允许它吗?

AI 研究者 Connor Leahy 在 TechCrunch 播客中公开主张,应直接禁止开发超级智能,而非仅靠对齐与控制技术管理风险。近期 OpenAI 与 Hugging Face 的安全事件,正让这种过去被视为激进的立场获得更多立法支持。

一句话看懂:AI 研究者 Connor Leahy 在 TechCrunch 播客中公开主张,应直接禁止开发超级智能,而非仅靠对齐与控制技术管理风险。近期 OpenAI 与 Hugging Face 的安全事件,正让这种过去被视为激进的立场获得更多立法支持。

事件核心:发生了什么

在 TechCrunch 的 Equity 播客节目中,AI 研究者兼创业者 Connor Leahy 以非营利组织 ControlAI 美国执行总监的身份提出,防止超级智能灾难的唯一可靠方式,是从源头停止其开发。Leahy 强调,随着模型能力逼近甚至超越人类,现有的对齐(alignment)与隔离(containment)手段已不足以应对失控风险,继续推进超级智能等同于押注无法验证的安全性策略。

这期讨论并非脱离现实的预言。节目中特别引用了两起近期安全事件:OpenAI 遭遇的安全事故,以及 Hugging Face 平台发生的用户数据泄露。这些案例说明,即便是拥有顶尖安全团队的基础设施与模型供应方,仍难以阻断恶意访问和滥用,遑论在远超人类认知能力的模型上保证可控。

值得留意的是,Leahy 指出,仅在半年前还被视为边缘或偏执的主张,如今已逐步进入政策视野。ControlAI 推动的并非限制使用或要求透明披露等折中监管,而是试图通过立法在训练或部署超级智能前设立明确禁令,这显然比现行任何国家的AI监管草案都更彻底。

为什么重要

这场讨论踩中了 AI 行业当前最不愿直面的断层:一边是实验室与科技巨头将“超级智能即将到来”作为路线图叙事,用于吸引算力投资与顶级人才;另一边则是连现有大模型都无法解决的越狱攻击、数据泄露与幻觉问题。

OpenAI 与 Hugging Face 的连续事件,揭示了一个结构性矛盾——如果连封闭API与开源生态枢纽都无法做到绝对安全,那么当模型在推理、规划与自我改进能力上再上一个台阶时,行业是否仍能承诺“可控”?Leahy 的立场从根本上质疑了这一承诺的合理性:与其押注对齐技术能跟上指数级能力增长,不如直接划出不可逾越的开发红线。

对于商业竞争而言,这种声音若转化为立法行动,将直接冲击那些把通用人工智能乃至超级智能列为远期目标的大模型训练方。它也挑战了开源社区的默许共识:开源权重是否必然更安全?若能力达到特定阈值,是否该对开源实施门槛限制?这些讨论正从学术伦理会议走向实际的立法辩论厅。

对用户/开发者/创作者的影响

对普通用户:安全事件的密集曝光意味着,即使你只是通过聊天界面使用AI,个人输入的数据也可能因平台安全漏洞被泄露。关于超级智能的讨论看似遥远,但它直接影响未来产品默认的安全设计——若开发受阻,用户可能迎来更保守、审核更严格的功能迭代,而非能力突进。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对开发者与API调用方:若“禁止开发超级智能”类立法通过,受影响的不只是前沿实验室。任何计划集成超强推理模型到生产环境的企业,都可能面临额外的合规证明义务:你有能力隔离模型、审计其输出、在异常行为时紧急停机吗?这意味着API供应商需要在接口层面提供更细粒度的控制工具,而不仅仅是基础的使用配额与限流。

对创作者与内容行业:监管部门若对超级智能的“能力上限”设限,图像生成、视频合成与长文本创作模型的功能冗余空间将被压缩。创作者应当关注功能更新时官方对模型安全评估报告的披露深度——当公司开始主动限制某项能力时,可能并非技术瓶颈,而是合规避险。

值得关注的后续

一、ControlAI 推动的立法草案是否进入正式议程。重点观察加州或欧盟AI法案的修订版本中,是否出现针对“能力基准测试超过人类专家水平即禁止继续训练”的具体条款。

二、OpenAI 与 Anthropic 对这类禁令的公开反应。这两家公司一边强调安全对齐研究,一边也被质疑在追逐更高能力。它们是否会支持对超级智能设定硬性法律上限,将是判断行业真实安全偏好的试金石。

三、Hugging Face 与开源社区的应对模式。平台是否会在模型权重发布前增加能力评估与限制性许可?这或将重塑开源AI的边界,并影响依赖开源权重二次开发的创业公司生态。

来源:TechCrunch AI

celebrityanime
celebrityanime
文章: 22523

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注