异步强化学习新方法RSC:用正则化分数中心化稳住训练,6项智能体任务登顶

Hugging Face Papers 于 2026 年 11 月 16 日收录的论文提出正则化分数中心化(RSC),在异步强化学习中加入反向 KL 惩罚,限制学习者策略偏离行为策略,从而提升训练稳定性与样本效率。据摘要,该方法在六项智能体任务上取得最佳表现,其中 AppWorld 提升 14.3%,Baby…

一句话看懂:Hugging Face Papers 于 2026 年 11 月 16 日收录的论文提出正则化分数中心化(RSC),在异步强化学习中加入反向 KL 惩罚,限制学习者策略偏离行为策略,从而提升训练稳定性与样本效率。据摘要,该方法在六项智能体任务上取得最佳表现,其中 AppWorld 提升 14.3%,BabyAI 达到最强基线的 9.9 倍。

事件核心:发生了什么

异步强化学习能提升训练吞吐,但陈旧策略数据和训练/推理的数值不一致容易让学习失稳。论文先分析了分数中心化(SC)的作用:它移除奖励基线对期望更新的影响,梯度诊断显示其梯度比重要性采样(IS)更温和;但当学习者离生成数据的行为策略太远时,SC 仍会失效。为此作者提出 RSC,在训练目标中加入反向 Kullback-Leibler(KL)惩罚,推动下一 token 分布贴近行为策略,并与截断重要性采样(TIS)兼容。理论分析称,KL 正则能改善收敛保证。实验覆盖稠密模型和混合专家模型,涉及数学推理以及在线购物、工具调用、游戏、全异步软件工程等智能体任务。需要说明,以上信息仅基于论文摘要,未核验全文实验细节,也不代表已上线产品。

为什么重要

异步强化学习是提升大模型训练效率的重要路线,但离策略数据带来的稳定性问题长期制约其规模化。RSC 把“策略匹配”约束显式化,为异步训练提供了一种低额外成本的稳定化思路,并与现有 TIS 机制叠加使用。如果结论在更大模型和更多任务上成立,它可能影响训练框架与强化学习后训练管线的设计选择,尤其是对需要长程交互的智能体训练。

对用户/开发者/创作者的影响

对开发者而言,RSC 更像训练侧方法,短期不会直接变成可用 API;其价值在于为异步 RL 训练降低调参和崩溃风险,并在相同采样响应数下提高训练奖励,从而可能降低智能体应用的迭代成本。对使用智能体产品的用户,这类方法改善的是模型在购物、工具调用、游戏等任务中的训练效率与稳定性,但实际体验仍取决于产品侧是否采用以及工程实现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 RSC 能否在更大规模模型和真实异步训练系统中复现收益;二是与 TIS 等已有稳定化手段相比,额外计算与实现复杂度是否可接受;三是开源训练框架或闭源模型团队是否会跟进采用类似 KL 约束设计。目前公开信息显示,该工作仍处于论文阶段,尚无配套代码或产品发布信息。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注