扩散Transformer的RL后训练,大部分增益来自固定激活向量

一篇新论文发现,扩散Transformer经过强化学习后训练获得的多数能力提升,可以被一组与输入无关的固定激活向量复现,这意味着RL后训练在很大程度上是在“引导”模型已有能力,而非教会新技能。

一句话看懂:一篇新论文发现,扩散Transformer经过强化学习后训练获得的多数能力提升,可以被一组与输入无关的固定激活向量复现,这意味着RL后训练在很大程度上是在“引导”模型已有能力,而非教会新技能。

事件核心:发生了什么

2026年11月19日发布于Hugging Face Papers的一篇论文,对RL后训练在扩散Transformer中的作用提出了简单但有力的解释。作者在冻结的基础模型上,向每个模块输出加一组固定的引导向量,这些向量对所有提示词、token和采样种子完全相同。在SD3.5-M上,这组向量仅0.29M参数,比RL调优后的LoRA(18.8M)少65倍。它们通过拟合公开RL检查点的速度预测得到,目标函数中不含奖励信号,却恢复了六个RL调优图像模型90.0%–96.3%的奖励增益,在两个视频模型上分别为89.8%和111.9%。以零初始化并直接用在线RL训练这些向量,在SD3.5-M的OCR文本渲染和PickScore人类偏好上,增益甚至超过基于权重的RL。

为什么重要

目前公开信息显示,这一结果挑战了“RL后训练必须学习复杂、依赖输入的变换”的直觉。若固定偏移就能解释大部分收益,那么提升图像生成质量、文本渲染和组合准确性的成本可以大幅下降:训练参数更少、算力需求更低,开源社区也更容易复现和微调。对闭源模型厂商而言,这意味着RL后训练的技术壁垒可能没有想象中高;对研究社区而言,则提示应重新审视RL到底改变了什么——它更像是在引导预训练生成器走向其已具备的能力。

对用户/开发者/创作者的影响

开发者可以关注“激活引导”作为轻量后训练替代方案的潜力:参数量小、无需奖励模型即可拟合已有检查点,适合在消费级算力上做风格或能力微调。创作者短期内不会直接感知变化,但如果该方法被集成到开源工具链,图像生成模型在文字渲染和构图上的改进可能更快、更便宜地落地。企业采购方则需注意,这仍是论文摘要层面的发现,尚未核验全文实验,不宜据此判断现有商业API的能力上限。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是该方法能否推广到更多模型架构和任务,而不只是摘要中的SD3.5-M和少数视频模型;二是社区是否会基于此推出低成本的开源微调工具或检查点;三是主流图像生成产品是否会在后续版本中采用类似的轻量后训练策略,从而影响API价格和迭代节奏。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36363

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注