UniFlowWAM将3D场景流设为第三模态,真实双臂任务平均成功率87%

alphaXiv 页面在 2026 年 10 月 22 日展示的论文 UniFlowWAM,提出把 3D 场景流与视觉、动作并列为“第三模态”的统一世界-动作模型;在仿真和四项真实双臂操作任务上,其平均成功率为 87.0%,高于最强对比基线 π₀.₅ 的 68.5%。

一句话看懂:alphaXiv 页面在 2026 年 10 月 22 日展示的论文 UniFlowWAM,提出把 3D 场景流与视觉、动作并列为“第三模态”的统一世界-动作模型;在仿真和四项真实双臂操作任务上,其平均成功率为 87.0%,高于最强对比基线 π₀.₅ 的 68.5%。

事件核心:发生了什么

论文试图补上机器人示范数据里缺失的一层信息:机器人记录了自己看到什么、执行了什么,却没有直接描述三维场景中的点如何运动。UniFlowWAM 用场景级 3D flow 表示这些点的位置和位移,并把它与未来视觉特征一起纳入世界表示。模型采用扩散 transformer,视觉、流和动作各有一个专家,通过联合注意力交换信息;训练覆盖 10 个目标,每个目标让各模态分别扮演目标、条件或缺失角色,因此同一个模型可同时用作策略、前向/反向动力学以及未来视觉或流预测器。

流由单目 RGB 示范离线计算,借助跟踪器和 4D VAE 完成,采集与部署都不需要深度传感器。评测覆盖 RoboCasa-GR1、LIBERO、LIBERO-Plus 仿真环境,以及四项真实双臂任务。RoboCasa-GR1 上,成功率从无流基线的 52.1% 提升到 56.4%;LIBERO 保持 98.1% 的分布内成功率,LIBERO-Plus 零样本达到 87.7%。真机任务包含辣椒转移、圆白菜入锅盖盖、两支笔入抽屉并关闭、叠毛巾,每项固定起点 50 次试验,UniFlowWAM 平均 87.0%。

为什么重要

此前不少工作把 3D flow 当作策略之外的中间预测、推理先验或额外预测头,流本身缺少独立监督。UniFlowWAM 把流提升为与视觉、动作同级的模态,并让它既能作为预测目标,也能作为条件输入,这为“世界模型”与“动作策略”的联合训练提供了一个更紧耦合的路线。论文也将自身定位为对 Unified World Models 和 LaMP 等思路的延伸,并提到同期有联合稀疏 3D 关键点流与动作的工作,因此并非首次提出。目前公开信息仅覆盖摘要与页面素材,尚不宜把结论外推到更多任务或长期稳定性。

对用户/开发者/创作者的影响

对机器人应用开发者而言,更值得关注的是数据管线:如果单目 RGB 示范就能离线生成 3D flow,部署端不必加装深度传感器,示范采集门槛可能降低。策略推理时 flow 槽位可缺失,意味着测试阶段不需要提取或编码流;但论文也说明流提取和额外训练算力仍留在整体流程中,成本并未消失。对做具身智能模型选型的企业,这类统一架构能否在自有任务上复现 87.0% 的真机结果,比单次论文指标更有参考价值。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开代码与模型权重,以及离线流提取管线的可复现程度;二是真机实验能否在更多物体、更大分布偏移下保持优势,尤其要区分“流带来的增益”与“换用更强基座”本身的影响;三是与同期稀疏 3D 关键点流方案相比,联合注意力架构的训练与推理成本是否可接受。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29763

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注