英伟达发布 Cosmos 3 四款开放模型,面向机器人与自动驾驶世界模拟

英伟达于 2026 年 11 月 5 日在 Hugging Face 发布 Cosmos 3 系列四款开放权重模型,主打交互式世界模拟与多传感器驾驶场景生成,权重开放且允许商用,但实际效果仍需开发者自行验证。

一句话看懂:英伟达于 2026 年 11 月 5 日在 Hugging Face 发布 Cosmos 3 系列四款开放权重模型,主打交互式世界模拟与多传感器驾驶场景生成,权重开放且允许商用,但实际效果仍需开发者自行验证。

事件核心:发生了什么

此次新增的四款模型均以 Cosmos 3 Nano 为基座后训练而来,各含 160 亿可训练参数,采用 OpenMDW1.1 许可,允许商用与非商用。四者分工明确:Transfer-Auto 面向离线合成驾驶数据,可生成最多 11 路相机(含鱼眼)的同步视频并联合输出 LiDAR;Sim-Auto 是前者的因果蒸馏流式版本,用少量去噪步输出连续视频与 LiDAR 片段,支持长时交互式推演;Sim-Transfer 把物理模拟器的空间控制加文本提示转为照片级逼真视频;Sim-Bimanual 则根据机器人或相机动作预测视频结果。

为什么重要

训练机器人和自动驾驶策略,长期受限于真实数据采集成本高、场景覆盖窄。这组模型提供了一条“生成环境”的路径:既能批量扩充训练与评测数据,也能让策略在可控场景中反复试错。更关键的是,英伟达同时开放权重和后训练配方,试图把 Cosmos 做成世界模型领域可复用的公共底座。目前公开信息显示,官方也坦承问题未解——模型在多大程度上能忠实支撑策略学习与评估,仍需量化验证。相较闭源方案,开放的定位有利于吸引研究者和开发者围绕其生态做适配。

对用户/开发者/创作者的影响

对自动驾驶研发团队,Transfer-Auto 可作为合成数据管线起点,并通过后训练适配自有相机布局、LiDAR 配置和目标场景;需要闭环交互时再蒸馏为 Sim-Auto,但流式仿真仍依赖外部运行时和 WSM 渲染器更新控制信号。机器人方向可借助 Sim-Bimanual 探索动作到视觉反馈的映射,Sim-Transfer 则适合把仿真器输出“美化”为真实感视频。创作者可在合规前提下生成多天气、多光照的驾驶素材。需注意:这些是开放权重与后训练示例,并非开箱即用的成熟产品,接入新传感器需额外训练与算力投入。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是官方技术报告后续是否给出可信的策略学习评测数据,而非仅有演示效果;二是社区是否形成对具体车型、机械臂与传感器组合的适配方案,降低二次训练门槛;三是其他世界模型厂商是否跟进开放权重,以及这类合成数据的合规边界在监管层面如何明确。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 33005

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注