WorldBridge论文:仅加视频无动作标签,RoboTwin 2.0新任务成功率提到55.9%

alphaXiv在2026年10月29日展示的WorldBridge论文,把机器人“看视频学新任务”和“把预测转成动作”拆成两条路径分别训练,在RoboTwin 2.0上用少量新任务视频就把分布外成功率从25.07%提到55.90%,再加一条示教升到70.70%。

一句话看懂:alphaXiv在2026年10月29日展示的WorldBridge论文,把机器人“看视频学新任务”和“把预测转成动作”拆成两条路径分别训练,在RoboTwin 2.0上用少量新任务视频就把分布外成功率从25.07%提到55.90%,再加一条示教升到70.70%。

事件核心:发生了什么

论文研究的是World Action Models,即同时建模视觉演化和可执行动作的具身模型。作者在RoboTwin 2.0上做了监督数据消融:只用初始训练集内的视频和动作监督,分布外任务成功率25.07%;为每个新任务补上550条无动作标签的视频后升到55.90%;再加每个任务一条带动作标签的示教,达到70.70%。对应条件下,分布内表现基本稳定在91.85%—91.96%。基于这一观察,作者提出WorldBridge,用独立的视频专家和动作专家,通过结构化注意力和联合flow matching衔接,并加入双时间尺度的视觉记忆与action forcing。

为什么重要

机器人数据长期受困于高质量动作示教稀缺,而互联网视频和人类第一视角视频相对丰富。论文的消融说明,视频覆盖能借助模型已有的逆动力学能力迁移任务,少量动作标签则进一步强化落地。这为具身智能提供了一条“视频先行、动作补少量”的数据路线,也解释了为何不少团队开始重视人视频等异构数据。论文摘要还报告RoboTwin 2.0全数据96.23%、clean to random 80.9%、RoboCasa GR1 TableTop 82.8%、DOMINO Level-1 57.6%,但这些数字需按摘要所述任务和设定理解,不代表通用能力排名。

对用户/开发者/创作者的影响

对具身智能开发者而言,这套思路意味着可以先用现有视频数据扩展任务覆盖,再用少量标注示教校准动作输出,降低新任务的数据采集成本。不过论文仍是研究成果,不是已上线产品;摘要并未给出硬件部署细节、推理时延和跨本体迁移证据,实际工程化仍需验证。对内容创作者和机器人视频数据提供方,人类第一视角视频的监督价值可能被进一步挖掘。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是WorldBridge是否开源模型或数据处理管线;二是在真实机器人上的跨本体迁移与推理成本能否维持同等收益;三是视频与动作的配比是否存在更优区间,以及“一条示教”的结论在不同任务分布下是否稳定。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 31822

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注