alphaXiv论文提出统一训练:把预训练、SFT和强化学习放进同一个最大似然框架

alphaXiv 上的一篇论文提出“统一训练”(unified training),主张预训练、中期训练、SFT 和强化学习不必依赖不同算法,而可以合并为一个基于最大似然的训练流程,只需随时间调整数据来源与配比。

一句话看懂:alphaXiv 上的一篇论文提出“统一训练”(unified training),主张预训练、中期训练、SFT 和强化学习不必依赖不同算法,而可以合并为一个基于最大似然的训练流程,只需随时间调整数据来源与配比。

事件核心:发生了什么

这篇论文的出发点是:当前大模型训练通常分阶段进行,每个阶段的数据和学习算法都会切换。作者把这类阶段式流程视为一个特例,更一般的形式是:始终使用同一个加权似然损失,只改变训练数据从哪里采样、占比多少、何时切换。具体做法是把静态语料与强化学习生成的样本放进同一个共享缓冲区,生成与优化异步运行并定期同步权重;对于二值奖励,按每个 prompt 采样多条回答,正确回答获得与成功率成反比的权重,错误回答权重为零。作者称,在受控实验和真实实验中,统一训练改善了准确率与算力的权衡和任务覆盖,并保持较广的能力;在最大的测试算力预算下,表现优于分阶段训练,但没有保证每一次统一训练都胜出。

为什么重要

如果这一结论成立,受影响最大的是训练基础设施和数据策略:团队不必为预训练、SFT、RL 分别搭建算法栈,而是统一到一套最大似然目标,把重心转向数据调度。论文也明确指出边界:当生成样本的策略并非当前被优化模型时,拟合其成功样本通常不等价于当前策略的 MaxRL 梯度。这意味着“一个算法通吃”仍存在理论条件,目前公开信息看仍是研究框架,而非已经验证的工业配方。

对用户/开发者/创作者的影响

对开发者而言,这套思路可能降低多阶段训练的工程复杂度,尤其在需要持续学习、频繁迭代模型的场景中。但普通用户和 AI 应用创作者短期内不会直接感受到变化:论文没有给出可用产品或 API。真正值得留意的是,未来开源模型若采用类似统一训练流程,可能在同等算力下获得更好的推理覆盖,并减少阶段切换带来的能力回退。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是这套方法能否在更大参数规模上复现,目前摘要中可核查的受控实验是 124M 参数模型;二是生成策略与当前模型不一致时的近似误差是否可控;三是开源社区或云厂商是否会把这套数据调度机制工程化,形成可复用的训练框架。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 31303

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注