RynnVLA-Latent:用3D潜动作把30万小时视频变成机器人训练数据

论文提出RynnVLA-Latent框架,先把30.1K小时异构视频转成3D接地的潜在动作描述,再用流匹配预训练4B机器人策略,在LIBERO等基准和真机任务上报告了较高成功率。

一句话看懂:论文提出RynnVLA-Latent框架,先把30.1K小时异构视频转成3D接地的潜在动作描述,再用流匹配预训练4B机器人策略,在LIBERO等基准和真机任务上报告了较高成功率。

事件核心:发生了什么

据Hugging Face Papers收录的论文摘要(发布时间2026年10月25日),研究团队提出RynnVLA-Latent框架,核心组件RynnLAM从视觉转换中学习连续、3D接地的潜在动作,不依赖机器人原生控制信号。方法结合残差未来特征预测、相机补偿3D光流监督和相机运动解耦,目标是让表示捕捉与控制相关的运动,而非单纯外观变化。

团队将该方法应用于30.1K小时的人类、机器人和仿真视频,生成745.52M个潜在动作描述;随后通过流匹配学习从视觉观察和语言预测潜在动作块,再将预训练骨干与动作专家适配到具体机器人本体。摘要称,所得4B策略在LIBERO上达到98.8%成功率,LIBERO-Plus上84.7%,VLABench五个赛道平均51.9%,RoboTwin 2.0双臂基准平均88.6%,并在灵巧手和移动夹爪平台的六项真实操作任务中报告了对比方法中最高的观测成功率。需说明,以上为摘要结论,未经全文与同行评审核验。

为什么重要

视觉-语言-动作(VLA)模型扩展长期受制于带动作标注的示范数据稀缺,以及不同机器人本体控制空间不兼容。RynnVLA-Latent试图把互联网规模的人类与仿真视频转化为可扩展的预训练监督,绕开对原生动作标签的依赖,这为机器人基础模型提供了一条区别于纯真机数据采集的路线。若方法可复现,数据规模与跨本体迁移的门槛可能降低。

对用户/开发者/创作者的影响

对机器人开发者,潜在动作表示提供了一种“先视频预训练、再按本体微调”的工程范式,可能减少对昂贵遥操作数据的依赖。对AI研究者,相机运动解耦和3D光流监督是有参考价值的表示学习设计。对普通用户和创作者,短期内没有可直接使用的产品变化;目前公开信息显示该工作属于研究论文,而非已上线API或开源工具。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开完整实验细节、消融设置和真机任务定义;二是潜在动作能否在更多本体和长时序任务上稳定迁移;三是是否有代码、模型权重或数据管线开放,以及社区复现结果是否与摘要数字一致。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 30300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注