一句话看懂：一种叫 RPO 的新方法，通过把注意力路由变成随机探索动作，在不改变扩散模型原有采样器的前提下完成强化学习对齐，文本生图和文本生视频任务上训练效率比 Flow-GRPO 类方法提升近 4 倍。
事件核心：发生了什么
2026 年 10 月 15 日，Hugging Face Papers 收录了一篇题为《Routing Policy Optimization for Online Diffusion Reinforcement Learning》的论文。作者提出了一种叫路由策略优化（Routing Policy Optimization，RPO）的方法，用于对扩散模型和流匹配模型做在线强化学习。
现有做 score-function 的强化学习方法，通常靠扰动反向去噪轨迹来制造随机性，需要大量昂贵的 rollout 采样。RPO 换了一个思路：在少数几个去噪层级上，让每个 query 块按生成器原生注意力质量，随机采样额外的 key 块，或者保留密集注意力。这条采样出的路由会扰动该步的速度，用密集速度附近的高斯似然以 score-function 目标给扰动打分。RPO 还用了一个受控的双 rollout 估计器：两个 rollout 共享提示词、初始潜变量、被路由的去噪层级和密集锚点层，只让采样到的注意力路由不同，奖励差异就提供了优势信号。关键是，因为似然对密集速度本身做了微分，即使推理时去掉路由、恢复密集注意力和原始确定性采样器，学到的更新依然有效。目前公开信息仅基于论文摘要，尚未核实全文实验。
为什么重要
扩散模型的对齐训练一直面临一个现实矛盾：想让生成结果更符合人类偏好或 reward 信号，往往要付出高昂的算力代价。RPO 的价值在于它试图从训练机制上降低这个代价——不是靠堆更多 rollout，而是把探索发生在生成器内部，同时不破坏原有采样器。论文摘要称，在文本生图和文本生视频任务上，RPO 在提升生成质量的同时，训练效率接近 Flow-GRPO 类方法的 4 倍。如果这一结论在更广泛任务上成立，它可能降低图像和视频生成模型做强化学习微调的算力门槛，对开源社区和中小团队尤其有意义。
对用户/开发者/创作者的影响
对开发者和研究者来说，RPO 提出的路由探索思路，可能影响后续扩散强化学习的实现方式——训练时引入随机路由，推理时回归确定性采样，这种“训练探索、推理归一”的范式如果被验证可迁移，会降低对大规模算力集群的依赖。对图像和视频生成的创作者与企业用户来说，短期还看不到直接可用的 API 或产品变化，因为这只是论文阶段。但它指向一个方向：未来的生成模型可能以更低成本完成偏好对齐，让定制化微调从大厂专属逐渐下沉。需要强调的是，论文摘要不等于已上线产品，也没有说明是否经过同行评审。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，RPO 是否会在更多生成模型和更大规模任务上复现“近 4 倍训练效率”的结论，这需要看到全文实验和独立复现。第二，项目页 https://velox-world.com/rpo 是否会放出代码或模型权重，决定它能否进入开源生态。第三，Flow-GRPO 等同类方法是否会跟进类似的路由探索机制，形成技术路线竞争。这些观察点将决定 RPO 是停留在论文层面，还是真正影响扩散模型的对齐训练实践。
