OGPO:让VLA模型学会从失误中恢复的离线目标条件优化

arXiv 上出现了一篇新论文,提出 OGPO 框架,将视觉-语言-动作(VLA)模型的后训练从“逐步模仿演示动作”转向“学习到达关键状态”,从而让机器人策略在执行偏离演示轨迹时也能尝试恢复,而无需额外在线交互。

一句话看懂:arXiv 上出现了一篇新论文,提出 OGPO 框架,将视觉-语言-动作(VLA)模型的后训练从“逐步模仿演示动作”转向“学习到达关键状态”,从而让机器人策略在执行偏离演示轨迹时也能尝试恢复,而无需额外在线交互。

事件核心:发生了什么

2026 年 10 月 12 日,arXiv cs.AI 收录了一篇题为 “OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models” 的新论文。目前公开信息仅为摘要,未包含全文实验细节或同行评审信息。

论文指出,当前 VLA 模型后训练主要依赖轨迹级监督模仿,即让模型在每一步复现专家动作。这种方式虽然能学到可行动作,但会偏向演示中的特定路径,一旦执行偏离演示轨迹,缺乏恢复至任务进展状态的指导。为此,作者提出 OGPO——一种离线目标条件策略优化框架,将离线演示自适应地重标记为语义关键状态,并构建目标条件过程奖励,让策略学习到达这些任务进展状态,而不是简单复制动作。摘要中称,在 LIBERO 和 MetaWorld 基准上,OGPO 持续优于标准监督微调;在 LIBERO-Plus 以及作者提出的 LIBERO-ReAct(一个执行中扰动基准)上,OGPO 在分布偏移和可恢复的偏离演示状态下表现出更强的鲁棒性和目标导向恢复能力。

为什么重要

机器人操作中的 VLA 模型正成为具身智能的重要路线,但后训练效率与鲁棒性一直是瓶颈。传统模仿学习依赖大量高质量演示,且策略泛化到偏离轨迹的状态时容易失败。OGPO 的思路是把监督信号从“动作标签”升级为“目标状态可达性”,相当于让模型学会“条条大路通罗马”,而不是死记硬背一条路。如果该方法在更多任务和真实机器人上得到验证,可能降低对在线交互和纠错数据的依赖,使离线数据价值更高,对机器人基础模型的训练范式有参考意义。

对用户/开发者/创作者的影响

对机器人研发者和具身智能开发者而言,OGPO 提供了一种不增加在线交互即可提升策略恢复能力的方向。若后续有开源实现,可能被用于微调现有 VLA 模型,例如在 LIBERO 等仿真环境中测试。不过目前仅为论文摘要,尚无官方代码或产品发布信息。对普通用户和内容创作者,短期内没有直接可用的工具或 API 变化,但这一方向若成熟,可能让未来的家用或商用机器人更少“卡死”,在遇到干扰后能自主调整。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开更详细的实验设置、消融研究和真实机器人结果;二是作者是否开源代码或模型权重,以及社区能否复现摘要中的提升;三是 LIBERO-ReAct 基准是否被其他研究采用,推动 VLA 鲁棒性评估标准化。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 28918

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注