NVIDIA 用 Cosmos 改造出交互式世界模拟器,面向具身智能训练

NVIDIA 基于 Cosmos 世界基础模型提出一套共享后训练框架,把预训练视频模型改造成能随动作和场景控制持续输出画面的交互式模拟器,面向 Physical AI 的训练与评测。

一句话看懂:NVIDIA 基于 Cosmos 世界基础模型提出一套共享后训练框架,把预训练视频模型改造成能随动作和场景控制持续输出画面的交互式模拟器,面向 Physical AI 的训练与评测。

事件核心:发生了什么

据 alphaXiv 页面信息,论文发布时间为 2026 年 11 月 4 日。核心是一套后训练流程:让模型按“因果分块”工作,当前块看到的是历史画面和控制信号,未来块不可见,新生成的结果再写入缓存供下一步预测;为控制内存,运行时只保留初始 sink 区域和近期滚动窗口。训练分四阶段,依次做双向模型适配、基于干净历史的因果预测、少步蒸馏,以及在模型自生成历史上继续训练,以缓解训练与推理历史质量不一致带来的暴露偏差。作者称该配方沿用 Causal-rCM 的教师强制、一致性蒸馏、自强制 DMD 课程,创新在领域适配、流式执行和三个专用模拟器。

为什么重要

机器人和自动驾驶在真实世界收集经验成本高、风险大,模拟器的价值在于持续提供可控体验。传统视频生成模型只能给出一次性片段,而这套框架强调“连续、受控”的观测生成,并提供两种模式:直接由动作预测视觉后果,或由外部模拟器维护物理状态、模型只负责画面渲染。这使世界模型更接近可反复调用的训练环境,而不只是内容生成工具。目前公开信息显示,实验覆盖相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟,具体落地产品尚未披露。

对用户/开发者/创作者的影响

开发者可以关注其开源动作:模型代码和权重指向 GitHub nvidia/cosmos 与 Hugging Face 集合,适合研究团队复现和后训练适配。机器人、自动驾驶团队可评估用此类模拟器做评测闭环,降低实机采集成本。视频创作者短期受益有限,控制接口更偏空间结构输入与语言引导外观,尚未显示面向大众创作的产品化封装。算力层面,流式生成与缓存机制意味着推理成本将影响可用性。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是开源代码与权重是否完整可跑通,流式运行在单卡或多卡上的实际开销;二是论文中 AgiBot-GEAR 数据的 30 例对比能否在更多任务上复现,其中 SF-DMD 四项去噪步骤下质量分 74.251 对 72.375、PSNR 13.479 对 11.847 dB,结果仅限该素材所述条件;三是是否与 NVIDIA 仿真或机器人工具链形成可交付的 API 或产品。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 33047

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注