训练数据与学习率调度需联合设计：LLM中训练何时引入MT数据没有统一答案

事件核心：发生了什么

论文研究的是大模型训练流程中的中训练阶段：先在大规模通用语料上预训练（PT），再用价值更高、规模更小的数据（如数学、代码）继续训练。作者把“先纯 PT、最后完全切换到 MT”视为一种特殊的数据混合排期，并在总训练算力和 MT token 预算固定时提问：这种完全切换是否让最终 MT loss 最低。答案取决于学习率调度——当学习率持续衰减时，较早引入 MT 并混入 PT 数据，最终 MT loss 低于把 MT 全部放在训练末尾；但若改用恒定学习率，偏好会反转。消融实验进一步显示，在学习率衰减前先让 MT 数据进入训练效果更好。论文同时给出理论模型解释这一依赖关系。

为什么重要

这挑战了将数据排期与学习率调度分别调优的常见做法，提醒训练团队在有限算力和高质量数据预算下，需要把两者当作联合决策。对正在建设预训练—中训练流水线的大模型团队而言，这意味着“末尾纯高质量数据”未必总是最优；但论文也强调，这不是“重放 PT 数据一定有益”或“晚期 MT 一定差”的通用结论。目前公开信息显示，结果限于论文测试的调度方案和模型设置。

对用户/开发者/创作者的影响

普通用户短期内不会直接感知，影响主要在训练侧。开发者、创业团队和研究者若在做垂直领域大模型或继续训练，应把数据进入时机与学习率衰减点一起纳入实验矩阵，而不是只比较数据配比。对算力有限的团队，合理混合 PT 与 MT 数据有望在相同 MT token 预算下降低目标域 loss，但需先在自己的模型与数据上验证，不能直接照搬结论。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是论文是否公开完整实验细节和代码，覆盖更多模型规模与数据域；二是业界训练框架是否提供数据排期与学习率调度的联合配置能力；三是后续研究能否给出可迁移到不同模型族的通用设计准则。目前结论来自 alphaXiv 论文页面摘要及概述，尚未见同行评审或产品化落地信息。

来源：alphaXiv