AI先驱Sutton称,面对无限复杂的世界,合成数据是“大错误”。

图灵奖得主、强化学习奠基人 Richard Sutton 公开反对头部 AI 实验室广泛采用的合成数据路线,认为用模型生成数据训练大模型是“大错误”,并提出“大世界假说”——真实世界的复杂度远超任何模拟和数据集合所能覆盖的范围。

一句话看懂:图灵奖得主、强化学习奠基人 Richard Sutton 公开反对头部 AI 实验室广泛采用的合成数据路线,认为用模型生成数据训练大模型是“大错误”,并提出“大世界假说”——真实世界的复杂度远超任何模拟和数据集合所能覆盖的范围。

事件核心:发生了什么

在近期一次公开对话中,强化学习先驱、2019 年经典文章《The Bitter Lesson》作者 Richard Sutton 与其学生 Khurram Javeed 共同介绍了新公司 Oak Lab,同时明确批评了合成数据在 LLM 训练中的应用。Sutton 认为,互联网文本是有限资源,而真实世界“比我们存储在互联网上的一切信息都要大得多”,大模型在吃尽互联网数据后,继续依赖人类知识注入会限制系统能力的进一步突破。

针对“能否用合成数据突破瓶颈”的提问,Sutton 直接回应:“不,那是个大错误。”其判断依据是 Javeed 提出的“大世界假说”(Big World Hypothesis)。该理论认为,现实世界复杂度接近无限,任何模拟环境都只是“微观”层面上的近似——摩擦力数值可能出错,机器人电机模型不精确,而且其他智能体的内在运作机制无法被人工生成。Sutton 还指出,合成数据的生产依赖人类专家判断数据质量,本质上仍受人类知识上限约束,无法规模化。

作为替代方案,Sutton 主张让智能体从自身的经验中持续学习,自主构建并不断修正世界模型,而不是依赖人类预置的模拟器。他同时批评当前 LLM 训练完成后权重即冻结,缺乏真正的持续学习能力,并提到了其团队在 Nature 上发表的“Continual Backprop”方法。他将现有语言模型定性为一项“惊人的科学突破”,但只相当于智能的“约 20% 到 25%”。

为什么重要

合成数据是目前头部 AI 实验室弥补高质量训练数据枯竭的主流策略,OpenAI、Anthropic、Meta 等机构均在不同程度上依赖模型生成数据来扩展训练集。Sutton 的反对意见代表了一种根本性的技术路线分歧:如果“大世界假说”成立,那么当前基于互联网文本加合成数据扩展的 scaling law 路径将遇到天花板。若按经验主义思路推进,智能体需直接在真实环境中交互学习,这涉及算力部署方式、模型架构和训练范式的全面转变。该观点未必代表行业共识,但出自图灵奖得主之口,足以引发对现有技术路线成本的重新评估。

对用户/开发者/创作者的影响

如果合成数据路线被限制,短期内影响主要体现在模型能力提升速度上——开发者可能不会很快看到 LLM 在复杂推理、物理常识或长尾任务上的大幅跃升。对 API 调用方和 AI 应用开发者而言,这意味着需要更务实地评估模型能力的当前边界,而非等待“下一代模型解决一切问题”。对创作者和内容生产者来说,“人类数据仍有价值”的判断间接强化了高质量原创内容的长期地位,而非被 AI 生成内容迅速稀释。对企业用户而言,Sutton 强调的“人类专家筛选数据”瓶颈提示:垂直领域数据的质量把控仍是竞争力来源,盲目堆量未必有效。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,Oak Lab 是否能拿出可验证的持续学习成果,特别是 Continual Backprop 方法从论文走向实际模型的进展。第二,头部实验室是否会公开调整合成数据的训练配比或使用策略——目前公开信息显示,各实验室尚未对 Sutton 的批评做出正式回应。第三,若经验学习路线可行,对算力需求的影响是什么——真实环境交互学习所需的算力规模、仿真成本与当前预训练模式相比是否有本质差异,这是衡量该路线商业化可能性的关键参照。

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 19311

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注