一句话看懂：腾讯在2026年AICon深圳站上披露了其统一多模态强化学习框架UniRL，该框架通过架构解耦、自研算子FalconGEMM和训推一致性方案，解决了Diffusion RL与LLM RL在基础设施层面的本质差异，实现了端到端2.4X的性能提升，并将在8月21-22日的大会上详解全链路工程实践。
事件核心：发生了什么
腾讯多模态RL Infra负责人朱文熙确认出席AICon深圳站，并将在“AI Infra、推理工程与异构计算”专题分享其团队在UniRL框架上的实践经验。该框架核心解决了Diffusion RL（用于图像、视频、3D生成）与LLM RL在基础设施上的三个关键差异：Rollout过程是计算密集型的矩阵运算，而Agentic场景下低密度计算（如工具调用）与高密度计算（扩散去噪）串行导致算力浪费，以及Reward负载异构突发性。针对这些问题，UniRL提出了Role/Worker分离架构、原子化插件接入以及类单机编程抽象来降低算法适配成本；同时自研FalconGEMM算子，通过代数优化和缓存感知调度在H20上实现了单算子BF16提升15.3%、FP8提升17%的实测效果，端到端FP8最高提升36%。此外，框架还通过Bitwise训推一致性方案（解决低精度Rollout导致的收敛问题）和基于NV Green Context的异步训推引擎，将GPU利用率从低于20%显著提升。
为什么重要
多模态生成模型的强化学习是目前提升生成质量与对齐效果的关键技术路径，但它与主流LLM RL在Infra层面存在本质差别。腾讯UniRL的公开实践直接挑战了一个行业普遍认知：即推理场景的优化手段（如低精度、split-k GEMM）可以“自动套用”到RL训练场景。事实上，RL训练中错误会沿训练步累积放大，导致看似无害的近似优化也能破坏收敛。朱文熙强调“正确性优先带来的工程约束远超推理优化”，这一观点点明了RL Infra的核心矛盾——性能优化空间被一致性约束大幅压缩，简单套用推理优化方案行不通。此外，UniRL通过插件化和配置驱动架构应对“模型×算法”组合爆炸的问题，为行业提供了如何避免重复造轮子的参考方案。对于正在布局多模态RL的团队而言，这是一次从工程方法到组织协作（在Infra团队配置算法工程师）的务实分享。
对用户/开发者/创作者的影响
对于AI应用开发者和创作者，UniRL直接关联的是多模态生成模型（如图像、视频、3D、语音对话）的训练效率和质量。如果异构计算和训推一致性方案被有效利用，意味着未来使用这些模型时，生成结果将更可靠、训练收敛更稳定、成本也可能进一步下降。对于AI Infra开发者，演讲中关于FalconGEMM的优化路径、Green Context Sharing的动态资源分配以及Reward服务化资源池的设计，提供了可供参考的实测数据和tradeoff判断。对于企业采购和投资判断，腾讯在RL Infra上的投入也暗示了多模态生成和Agentic场景正在成为核心技术变量，后续值得关注该方案的实际落地效果和开放可能性。
值得关注的后续
首先，UniRL的具体架构和FalconGEMM的开源或内部应用范围值得持续关注，是否有计划对外输出或形成生态。其次，在与Verl等开源RL框架的对比中，UniRL的配置驱动和插件化设计是否真的能有效降低适配成本，需要验证实际项目的接入反馈。最后，异构资源调度（如Green Context Sharing）能否在更广泛的集群环境中稳定复现高利用率，仍是Agentic场景落地的关键工程挑战。
来源：InfoQ CN
