前OpenAI研究员押注:1000亿美元将流入训练数据,因为仅靠扩展规模行不通

前OpenAI研究员Andrew Ho仅入职8个月便离职创业,他断言大模型无法通过单纯扩大规模实现真正泛化,未来AI实验室需投入超1000亿美元采购高质量训练数据。这一观点获得剑桥和DeepMind研究者的佐证,指向行业技术路线可能从“堆算力”转向“堆数据”。

一句话看懂:前OpenAI研究员Andrew Ho仅入职8个月便离职创业,他断言大模型无法通过单纯扩大规模实现真正泛化,未来AI实验室需投入超1000亿美元采购高质量训练数据。这一观点获得剑桥和DeepMind研究者的佐证,指向行业技术路线可能从“堆算力”转向“堆数据”。

事件核心:发生了什么

Andrew Ho离开OpenAI后宣布成立新公司,专门为AI模型生产高质量训练数据。他的核心判断是,当前大语言模型在编程、数学等有清晰反馈信号的领域表现尚可,但在大量“隐性技能”——如生物信息分析、实验室日常操作、复杂科学推理等——成功率不足30%。他认为问题根源不在于模型架构或算力,而在于训练数据严重缺失:大部分有经济价值的工作高度依赖上下文,现有数据集无法捕捉这些“反事实”路径。

Ho预测,未来数年AI实验室将被迫花费超过1000亿美元用于针对性数据采集。他的首批产品瞄准生物信息学数据集和实验室工作数据集(例如AI根据实验照片评估结果),后续计划扩展至化学、材料科学、医疗健康及更广泛的知识工作。

剑桥大学研究者Adam Hunt和Google DeepMind研究员Tom Zahavy从不同角度支持这一判断。Hunt发现最新模型在编程和数学上持续提升,但在语言质量、简单逻辑等区域停滞甚至倒退,说明模型走向的是“极端专业化”而非通用化。Zahavy在《LLMs can’t jump》论文中指出,大模型擅长演绎和归纳,但无法实现“创造性逆推”——即提出语言训练数据中不存在的因果解释。

为什么重要

这一观点直接挑战了“扩大模型规模就能通向AGI”的主流叙事。如果Ho的判断成立,意味着目前OpenAI、Anthropic等头部实验室的估值逻辑面临根本性修正——它们长期亏损的原因正是把海量资金投入新模型训练,却忽略了数据侧的结构性短板。而像Qwen、Kimi这些更便宜的对手正在蚕食市场,若数据瓶颈不破,“烧钱换领先”的模式将难以持续。

对行业而言,这预示着AI竞赛的焦点可能从“算力军备”转向“数据基建”。专门的公司、工具和标准将涌现,数据采集、清洗、标注和评估环节的商业价值将被重估。DeepMind提出的“行动可控世界模型”作为可能的解决思路,也暗示未来可能通过模拟环境生成反事实数据,让LLM在一个更立体的体系中发挥作用。

对用户/开发者/创作者的影响

对开发者:如果你正在构建依赖大模型的垂直应用(如医疗诊断、科研辅助、法律分析),当前模型“中等偏下”的表现并非暂时的bug,而是数据缺陷导致的系统性瓶颈。你可能需要自建高质量领域数据集,或关注Andrew Ho这类初创公司的数据产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对普通用户:别指望单靠“更大更强的模型”就能解决所有复杂任务。目前公开信息显示,即便GPT-5.6这样的前沿模型在生物信息学任务上也只能达到约30%的成功率——这意味着在关键场景中,人的专业判断仍然不可或缺。

对企业决策者:采购AI解决方案时,应深入考察厂商的训练数据覆盖范围。纯规模化路线的产品可能在标准测试集上表现优异,但遇到业内实际长尾场景时可能大幅降级。数据驱动的精细化训练或许是更务实的选择。

值得关注的后续

  1. Andrew Ho的初创公司能否在短期内推出可验证效果的数据集?特别是生物信息学数据集是否被第三方研究机构认可。
  2. 头部AI实验室是否会调整投资结构,从“算力为王”转向“数据驱动”?例如OpenAI是否会加大数据采购预算,或调整模型发布节奏。
  3. “反事实数据生成”方案(如DeepMind的世界模型)是否会催生新的训练范式,从而部分绕过数据采集的高成本?

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 16076

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注