一句话看懂:alphaXiv 收录的论文提出 EMMA 框架,用扩散 Transformer 生成多视角一致的机器人操作视频来扩充训练数据,在真实机器人零样本视觉任务中,相比仅用真实数据训练,性能相对提升超过 92%。
事件核心:发生了什么
根据论文摘要,EMMA(Embodied Manipulation Media Adaptation)是一个增强视觉-语言-动作(VLA)策略的框架,由生成式数据引擎和训练流程两部分组成。其核心组件 DreamTransfer 基于扩散 Transformer,可根据文本编辑视频中的前景、背景和光照,同时保持 3D 结构与几何一致性,并生成多视角一致的具身操作视频。
训练方面,作者混合真实与生成数据,并提出 AdaMix 策略,根据策略表现自适应地为样本加权,让模型更关注困难样本。摘要称,在零样本视觉设置的现实机器人任务中,EMMA 相比仅用真实数据训练取得超过 92% 的相对性能提升;加入 AdaMix 后额外提升 17%。上述结论均来自论文摘要,尚不代表已上线产品或经过同行评审。
为什么重要
VLA 模型的泛化能力高度依赖多样化训练数据,而采集不同物体外观下的大规模机器人操作数据成本高、耗时久。EMMA 的思路是用生成式视频模型合成可控的视觉变化,在不重新采集真实轨迹的前提下扩充数据分布。目前公开信息显示,DreamTransfer 在多视角一致性、几何保真度和文本条件精度上优于此前的视频生成模型。若这一路线成立,可能降低机器人策略训练的数据门槛,对具身智能的数据管线设计有参考价值。
对用户/开发者/创作者的影响
对机器人开发者而言,这类方法意味着可以先用真实数据打底,再用生成数据覆盖光照、背景、物体外观等长尾场景,减少真机采集和标注投入。对关注视频生成的创作者和研究者,DreamTransfer 展示了文本驱动编辑在保持 3D 结构方面的潜力,但当前证据仅限于论文摘要中的机器人操作视频场景。企业采购或落地评估时,仍需等待代码、模型权重和更多复现结果。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 EMMA 与 DreamTransfer 是否开源,以及生成数据的质量控制标准;二是 AdaMix 在不同机器人平台和任务上的泛化表现;三是生成视频用于训练时是否存在仿真到现实的差距,以及是否有第三方复现超过 92% 的提升。
来源:alphaXiv


