Open Athena 作者观点:后训练没有现成数据公地,智能体训练需自建任务

Open Athena 作者 David Hall 于 2026 年 10 月 15 日发表文章,提出预训练受益于互联网上长期积累的公共文本,但后训练所需的“任务”没有类似公地,这会直接影响开源大模型和智能体研发的成本与路径。

一句话看懂:Open Athena 作者 David Hall 于 2026 年 10 月 15 日发表文章,提出预训练受益于互联网上长期积累的公共文本,但后训练所需的“任务”没有类似公地,这会直接影响开源大模型和智能体研发的成本与路径。

事件核心:发生了什么

文章回顾,预训练能大规模展开,是因为过去约五十年里,Wikipedia、Stack Exchange、ArXiv、Project Gutenberg 以及 Common Crawl 等持续积累了可公开使用的文本。Common Crawl 自 2007 年起定期归档互联网快照,目前规模约 10PB;GPT-3 约 60% 的训练数据来自 Common Crawl 衍生数据,早期 Llama 的数据混合也几乎全部取自这一公共资源。作者认为,如果没有持续访问这类数据,真正开放的大模型很难存在。

但到了后训练阶段,情况不同:预训练消耗的是文档,后训练消耗的是任务。强化学习任务需要同时具备世界、意图、工具和评分器,且必须把人类情境中的行动“冻结”成可重复执行的样本。作者强调,人类长期建立了保存文档的图书馆、档案馆和互联网,却没有同等规模的基础设施来保存“行动”。软件工程是少数例外,因此智能体 AI 最先进入软件领域。

为什么重要

这直接关系到开源与闭源模型的竞争格局。预训练时代,公共网页数据降低了所有玩家的入场门槛;后训练时代,高质量任务数据和评分环境更可能由企业、实验室或特定社区私有构建,开源模型若缺少可复用的任务公地,追赶难度会上升。对智能体产品而言,真正的壁垒可能不在模型参数,而在任务设计、工具接口和评估体系。

对用户/开发者/创作者的影响

开发者需要意识到,调用大模型 API 只是起点,构建可靠的智能体还要自行定义任务、准备工具环境并设计评分标准。企业采购智能体方案时,应重点考察供应商的任务数据来源和评测方法,而非只看模型榜单。内容创作者和社区贡献者过去为预训练提供了大量文本,但目前公开信息显示,尚无成熟的公共机制把日常操作经验转化为可复用的后训练任务集。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是开源社区是否会形成共享的任务与评测数据集;二是头部实验室是否开放部分智能体训练环境;三是监管或版权讨论会否从“文本数据”延伸到“任务数据”。这些变化将决定后训练阶段的开放程度。

来源:Hacker News (黑客新闻)

celebrityanime
celebrityanime
文章: 32531

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注