一句话看懂：一项名为 LITE 的预训练加速策略被提出，可在 Muon、SOAP 等矩阵优化器基础上，沿损失景观的平坦方向施加更大 Hessian 阻尼与学习率，从而加快大语言模型预训练。需要强调的是，目前公开信息仅来自论文摘要，尚未看到完整实验细节或独立复现。
事件核心：发生了什么
alphaXiv 收录的论文提出，大模型预训练中损失下降主要来自平坦方向的优化进展，但优化景观高度各向异性。Muon、SOAP 这类矩阵优化器虽然利用更细粒度的曲率信息跑赢 AdamW，其更新却偏向各向同性：平坦方向偏保守，陡峭方向反而可能过于激进。
作者首先构建一个统一的黎曼 ODE 框架，用连续时间视角解释自适应算法：预条件器诱导黎曼几何以缓解病态，动量则作为黎曼阻尼促进收敛。基于这一分析，他们提出 LITE，在平坦轨迹上采用更大的 Hessian 阻尼系数和学习率。摘要称，LITE 在 Dense、MoE 架构，130M 到 1.3B 参数规模，C4、Pile 数据集以及 cosine、wsd 学习率调度上均加速了 Muon 和 SOAP。代码已开源于 SHUCHENZHU/LITE。
为什么重要
预训练成本主要由算力驱动，优化器效率直接决定同样算力预算下能训练多少 token 或多大模型。AdamW 长期是默认选择，Muon、SOAP 等二阶/矩阵优化器被视为替代路线。LITE 不新造优化器，而是给现有路线加一层按方向调参的“加速器”，如果结论成立，可能降低采用矩阵优化器的迁移成本。不过摘要层面的结果尚不能说明其在大规模生产训练中的稳定性。
对用户/开发者/创作者的影响
对训练框架和算力团队，LITE 提供了在 Muon/SOAP 上继续调参的方向：区分平坦与陡峭方向，而非统一超参。对开源模型社区，仓库已放出，适合在小规模复现中验证收敛和显存开销；对普通应用开发者与创作者，短期没有直接产品变化，模型训练效率的改善需要经平台和 API 价格传导才可能被感知。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 LITE 与 Muon/SOAP 结合后的额外计算与显存成本是否可接受；二是是否有团队在更大参数规模、更长训练周期上复现摘要中的加速效果；三是 Muon 生态（包括 NorMuon 等后续工作）是否吸收这一思路，形成新的默认配置。
来源：alphaXiv
