SWAM论文研究动作学习如何改变语言-视频对齐,开源数据与代码

Hugging Face Papers 收录的 SWAM 论文提出系统研究世界动作模型(WAM)中语言-视频对齐受动作学习影响的问题,构建约 4.7 万小时混合数据并研究训练配方,最终在 RoboTwin 与真实任务上给出对比结果,同时开源数据、代码和模型权重。

一句话看懂:Hugging Face Papers 收录的 SWAM 论文提出系统研究世界动作模型(WAM)中语言-视频对齐受动作学习影响的问题,构建约 4.7 万小时混合数据并研究训练配方,最终在 RoboTwin 与真实任务上给出对比结果,同时开源数据、代码和模型权重。

事件核心:发生了什么

2026 年 11 月 9 日,Hugging Face Papers 收录论文《SWAM: Scaling World Action Models with Cross-Modal Alignment》。摘要指出,现有世界动作模型研究多把“视频预训练带来的语言-视频对齐”当作既定基础,但引入动作学习后这种对齐可能被削弱。作者因此构建了约 47,000 小时的通用视频、第一视角视频、UMI 演示和机器人演示数据池,系统比较语言-视频监督、语言-视频-动作监督以及两者联合使用对 WAM 表现的影响,并进一步考察语言标注质量、联合训练配方和模型架构。论文称,仅用 RoboTwin Clean 演示做后训练后,Easy(Clean-to-Clean)条件下成功率为 88.10%,Hard(Clean-to-Random)为 61.56%;在三个真实任务上平均成功率 40.00%,最强基线为 23.33%。作者同时释放整理后的数据、训练代码和模型权重。

为什么重要

世界动作模型是机器人控制与视频生成交叉的方向,语言指令能否稳定驱动动作,直接关系到这类模型能否从演示数据泛化到新场景。SWAM 的价值不在于提出一个新架构,而是把“动作学习会破坏语言-视频对齐”当作可检验问题,用数据混合和训练监督方式做对照研究。如果这一思路可复现,会为后续 WAM 的数据配比和训练流程提供参考;开源数据与代码也有助于降低研究门槛。目前公开信息仅为论文摘要,实验细节和复现结果仍需以全文为准。

对用户/开发者/创作者的影响

对机器人学习开发者,SWAM 释放的数据和训练代码可作为 WAM 实验起点,尤其是第一视角视频与 UMI 演示混合训练的思路,可能影响控制泛化的数据选择。对关注多模态模型的团队,论文提醒在引入动作模态时,语言-视频对齐不是免费继承的能力,需要单独设计监督信号。对内容创作者或普通用户,这项研究短期内不构成可直接使用的产品功能,但若后续开源权重被社区集成,可能推动机器人演示视频和自然语言控制工具的落地。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否给出可复现的完整实验配置,以及 88.10% 与 61.56% 的成功率能否在相同条件下稳定出现;二是开源的权重和数据在社区复现中表现如何,是否会被用于更多机器人任务;三是是否有团队跟进类似的数据混合与对齐保持策略,形成新的训练配方竞争。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 34190

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注