一句话看懂:Hugging Face Papers 收录的论文 RynnWorld-Latent 提出一种跨机器人形态的视频世界模型,把 RynnLAM 的三维潜动作作为统一控制接口,让人与机器人视频可以放进同一个预训练框架里。
事件核心:发生了什么
论文摘要显示,RynnWorld-Latent 基于预训练视频 Transformer,将全局动作 token 与一个身份初始化、用于对齐动作和未来视频潜表示的局部分支结合。它使用约 23 个数据集、约 5.535 亿帧进行预训练,覆盖人类交互视频、机器人演示和仿真轨迹;随后通过后训练适配目标机器人。作者给出两条数据生成路线:数字遥操作,以及把源动作迁移到编辑后的初始帧并配以重定向伪动作的潜动作合成。在公开基准和两个真实机器人平台上,摘要报告了视频预测指标的提升,并显示两类合成数据有助于提升 LIBERO、LIBERO-Plus 以及真实场景策略成功率。
为什么重要
机器人学习的长期难点是动作空间不统一:不同机械臂、人形机器人乃至人类视频数据很难直接混合训练。该工作用“3D 锚定的潜动作”充当共享条件接口,绕开原生动作空间不一致的问题,使异构数据可以联合预训练。对行业而言,这提供了一种不依赖单一厂商数据闭环的世界模型思路;不过摘要未披露模型规模、推理成本和完整消融结果,目前公开信息显示仍以研究验证为主。
对用户/开发者/创作者的影响
对机器人开发者,潜动作接口意味着可以把人类视频和仿真轨迹转成可训练资产,降低真实演示采集的部分压力。对内容创作者或仿真应用开发者,动作条件视频生成可用于快速检查“同一初始画面、不同动作序列”下的预测差异。但现阶段不宜把论文结论理解为可直接调用的 API 或已开源产品,部署前仍需核验完整实验和适配成本。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是作者是否公开模型权重、数据规模和训练细节;二是潜动作在更多真实机器人上是否保持稳定,尤其是长时间任务;三是数字遥操作与潜动作合成产生的数据,能否在更大规模策略训练中持续优于仅用真实演示。若这些环节得到验证,跨形态世界模型才可能从论文走向工程工具链。


