DiffusionART:免调参稳定强化扩散模型,训练效率最高提升12倍

2026年10月8日,DiffusionART 在 Hugging Face Papers 公开,提出一种无需 EMA 调参的扩散模型在线强化学习框架,声称在 HunyuanVideo-13B 上达到同类方法晚期奖励水平所需 GPU 小时最多减少 12 倍。

一句话看懂:2026年10月8日,DiffusionART 在 Hugging Face Papers 公开,提出一种无需 EMA 调参的扩散模型在线强化学习框架,声称在 HunyuanVideo-13B 上达到同类方法晚期奖励水平所需 GPU 小时最多减少 12 倍。

事件核心:发生了什么

根据 Hugging Face Papers 上发布的论文摘要,DiffusionART 全称为 Diffusion Reinforcement with Aggregation-First Reward Tilting,目标是解决扩散模型在线强化学习中的效率与稳定性矛盾。现有反向过程方法如 Flow-GRPO 因信用分配不佳而效率受限,前向过程方法如 DiffusionNFT 虽然高效,却依赖精心调整的 EMA 离策略训练,否则容易不稳定。

论文摘要称,NFT 类目标中存在一种隐藏的前向—反向一致性力,正负样本联合训练只能部分抵消;而 EMA 的稳定作用来自“恢复”而非离策略 rollout。DiffusionART 通过将每个 prompt 的奖励聚合为反向过程状态共享的奖励改进方向,从构造上消除该一致性力,并加入带信任域掩码的第二次更新,实现漂移自适应恢复,无需 EMA 调参。它不需要可微奖励模型,每个 prompt 使用更少样本仍然有效,并支持成对奖励模型 DiffusionART-Pairwise。

在图像和视频生成任务上,摘要称 DiffusionART 无需逐任务调参即可高效稳定训练。尤其在 HunyuanVideo-13B 上,当视觉质量和运动质量奖励等权时,DiffusionART 达到 DiffusionNFT 和 Flow-GRPO-Fast 晚期平均奖励水平所需的 GPU 小时分别减少 12.02 倍和 11.72 倍,平均训练奖励分别高出 28.8% 和 53.0%。需要说明的是,上述结果来自论文摘要,全文实验尚未核验,不代表已通过同行评审或已上线可用产品。

为什么重要

扩散模型的后训练一直面临一个现实问题:用黑盒奖励做在线强化学习,效果好但算力成本高,调参不稳定。DiffusionART 如果能在更大范围复现,意味着团队不必在 EMA 等超参数上反复试错,也不必依赖可微奖励模型,就能把强化学习更直接地用于图像和视频生成。对开源社区和中小团队而言,降低 GPU 小时和样本需求,可能让原本只有大厂能承担的视频生成后训练变得更可及。

从技术路线看,它试图把前向过程方法的效率与反向过程方法的稳定性结合起来,并用“聚合优先”替代逐状态信用分配。这为扩散模型 RL 微调提供了一个不同于 Flow-GRPO 和 DiffusionNFT 的新方向,也可能影响后续开源模型的后训练工具链。

对用户/开发者/创作者的影响

对开发者和研究者,DiffusionART 的吸引力在于减少对 EMA 调参和可微奖励模型的依赖,且支持成对奖励模型,适合接入现有偏好数据或黑盒评分器。如果代码和权重后续开源,个人研究者用较少 GPU 资源尝试视频生成 RL 微调的门槛会降低。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对内容创作者和 AI 应用团队,短期影响更多是间接的:图像和视频生成模型的奖励对齐可能更快、更便宜,模型在视觉质量和运动质量上的平衡有望提升。但目前公开信息显示,这只是论文层面的方法,尚未看到可直接调用的 API、产品界面或商业服务,创作者不必急于更换现有工作流。

值得关注的后续

第一,论文是否公开完整实验细节、代码和预训练权重,尤其是 HunyuanVideo-13B 之外的模型上能否复现;第二,DiffusionART 与 Flow-GRPO、DiffusionNFT 在同等算力和数据条件下的第三方对比是否成立;第三,主流开源视频生成项目或云厂商是否将其纳入后训练管线,以及是否出现面向开发者的托管服务或 API。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 28888

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注