这些 AI 专家想要公开进行高风险研究

两位 AI 行业科学家成立非营利机构 Trillium Labs,主张把递归自我改进、智能体、强化学习等高风险方向的研究公开做,让外部研究者能复现和审查,与当前前沿实验室普遍封闭的做法形成对立。

一句话看懂:两位 AI 行业科学家成立非营利机构 Trillium Labs,主张把递归自我改进、智能体、强化学习等高风险方向的研究公开做,让外部研究者能复现和审查,与当前前沿实验室普遍封闭的做法形成对立。

事件核心:发生了什么

Trillium Labs 由 Nathan Lambert 和 Tom Zick 创办,目前已正式启动。两人在加州大学伯克利分校读研期间相识,之前分别在 Ai2、Hugging Face 和哈佛大学工作过。Lambert 还创办过 American Truly Open Models,长期推动美国公司释放更多开放模型。

该机构初期方向是后训练(post-training),也就是对已建成的大模型做微调;另一个重点是递归自我改进(RSI),即让 AI 参与新模型的研究过程。此外还会研究强化学习如何塑造模型的行为和“性格”,比如过度迎合用户这类问题。目前公开信息显示,Trillium Labs 已从 Schmidt Sciences、Halcyon Futures 等方获得一笔未披露金额的启动资金,目标是总计募集 4000 万至 1 亿美元,并在未来 18 个月投入 3000 万美元用于训练。

为什么重要

当前 OpenAI、Anthropic 等前沿实验室的强模型主要通过应用或 API 提供,构建细节和训练方法基本不公开;而小米等中国公司近期公开了一次重要训练运行的实时细节,斯坦福研究者也在开放环境中预训练 Marin 模型。围绕“强模型该封闭还是开放”的路线之争正在加剧。

Lambert 认为,封闭研发削弱了学术界审查想法、贡献新方法的能力,而科学方法本身是人类控制风险的工具。Zick 则强调,要理解强化学习在后训练中如何规模化,需要大量算力和细致实验,公开这些过程可能带来外部研究者意想不到的发现。在模型已能被用于自动发现软件漏洞、探测和入侵系统的背景下,这场争论的实质是谁有权定义安全边界。

对用户/开发者/创作者的影响

对开发者和研究者来说,如果 Trillium Labs 真的公开实验细节、训练方法和数据,中小团队和高校将获得复现前沿训练流程的参考,降低算力之外的信息门槛。对使用 API 做应用的开发者,这类公开研究有助于理解模型为何出现迎合、失控或行为漂移,从而在提示设计和产品逻辑上做更稳的兜底。对普通用户,短期体验变化有限,但开源路线若被验证可行,可能带来更多可本地部署、可审计的模型选择。企业采购方则可把“是否公开训练细节”作为评估模型供应商透明度的一个观察维度。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Trillium Labs 能否在 18 个月内拿出可复现的后训练或强化学习实验成果,而不只是发布倡议。二是 4000 万至 1 亿美元的募资目标能否完成,算力预算是否足以支撑 RSI 这类高消耗方向。三是这一开放路线是否会引来更多机构跟进,或反过来促使前沿实验室在监管压力下调整透明度策略。

来源:Wired AI

celebrityanime
celebrityanime
文章: 26950

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注