一句话看懂：Naver AI 提出轻量级二阶优化器 FOAM，试图在保留 SOAP 收敛优势的同时，把优化器状态内存和计算开销压到接近 AdamW 的水平。
事件核心：发生了什么
据 Hugging Face Papers 收录的信息，2026 年 11 月 12 日发布的一篇论文提出 Factored One-sided Adam-Moment（FOAM）。原文摘要指出，SOAP 等二阶优化器在 Transformer 训练中有望比 AdamW 带来更快的单步收敛，但代价是优化器状态内存大，还要做特征分解。FOAM 做了两处改动：只对输入侧做预条件，去掉输出侧 Kronecker 因子，省掉一次特征分解；同时用基于行、列统计的分解式 Adam 矩估计，替代 SOAP 的稠密旋转二阶矩。作者报告称，在 1.24 亿到 7.6 亿参数的大模型预训练中，FOAM 的验证损失与强 SOAP 和 Muon 基线持平，优化器状态只有 SOAP 的一半，实际耗时接近 Muon。代码已在 GitHub 开源。需要说明的是，以上信息来自论文摘要，全文实验细节尚未核验。
为什么重要
训练大模型时，优化器状态本身就是显存和算力账单的一部分。SOAP 这类二阶方法理论上有吸引力，但工程成本偏高。FOAM 的思路是拆掉二阶优化器里最贵的环节，同时尽量保住效果。若结论在更大规模上成立，它可能让预训练团队在不大幅增加资源的情况下尝试二阶优化路线，也会让 SOAP、Muon 与 AdamW 之间的选型讨论更偏工程效率。
对用户/开发者/创作者的影响
对训练框架和开源生态来说，FOAM 代码已开放，值得关注它能否接入 PyTorch 生态和常见分布式训练流程。对普通开发者和创作者，这类优化器不会直接改变产品功能，但可能间接影响大模型训练成本，进而影响推理价格和模型迭代速度。目前公开信息显示，这仍处于论文阶段，不能当作已经上线或生产验证的优化方案。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 FOAM 能否在 7.6 亿参数以上规模保持优势；二是社区复现能否验证“优化器状态减半、耗时接近 Muon”的结论；三是主流训练框架和云厂商是否会把这类优化器纳入默认选项。
