ResWAM 提出视觉残差学习:只监督未来画面变化,训练推理算力更低

Hugging Face Papers 收录的论文 ResWAM 提出“视觉残差学习”,不再让世界-动作模型预测完整未来画面,而是只学当前帧到未来帧的特征变化,并用 2.3B 参数模型在多个机器人操作基准上取得较高成功率。

一句话看懂:Hugging Face Papers 收录的论文 ResWAM 提出“视觉残差学习”,不再让世界-动作模型预测完整未来画面,而是只学当前帧到未来帧的特征变化,并用 2.3B 参数模型在多个机器人操作基准上取得较高成功率。

事件核心:发生了什么

据论文摘要(发布时间为 2026 年 11 月 14 日),现有世界-动作模型(WAM)通常监督完整的未来观测,但一个动作片段内画面变化很小,损失容易被静止背景的“复制”占据,机器人手臂和物体运动反而学得不够。作者提出视觉残差学习:在冻结的 DINOv3 特征空间里,只监督当前帧到未来帧的特征差。模型 ResWAM 总参数 2.3B,其中包含一个 0.5B 的双分支 DiT,用条件流匹配联合训练动作分支和残差分支。

结果方面,摘要称在没有额外机器人预训练的条件下,LIBERO-Plus 平均成功率为 81.1%,RoboTwin 2.0 为 93.8%,RoboDojo 成功率为 9.40%、得分 13.41;训练算力为 2.7–4.0 TFLOPs,推理算力为 1.0–1.4 TFLOPs。真机 Open、Put、Stack 任务平均成功率 80.0%,比 π_{0.5} 高 10.0%,延迟 92.7 ms。以上均为摘要披露,尚未核验全文实验。

为什么重要

机器人策略要闭环部署,训练和推理成本是关键门槛。ResWAM 的思路是把“预测未来”从生成完整视频,收缩为学习与任务相关的场景变化,从而绕开大型视频生成模型或独立世界模型带来的沉重算力。如果这一路线成立,WAM 的竞争焦点可能从“世界模型多大”转向“监督信号是否对准机器人和物体运动”,对视觉-语言-动作(VLA)策略的工程化有参考价值。

对用户/开发者/创作者的影响

对机器人开发者而言,摘要把零机器人预训练条件下的低算力表现作为卖点,意味着在有限 GPU 预算下做策略迭代可能更可行;DINOv3 冻结特征加轻量 DiT 的组合,也便于在现有视觉骨干上复用。对关注具身智能的团队,值得留意残差监督能否迁移到不同机械臂和操作任务。普通用户短期不会直接感知,这类研究距离消费级 AI 应用仍有距离。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开完整实验设置与消融,尤其是 RoboDojo 成功率偏低的原因;二是残差分支在不同相机、光照和背景下的稳定性;三是是否有开源代码或权重发布,以及真机 92.7 ms 延迟能否在更多任务上保持。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注