一句话看懂:NVIDIA 于 2026 年 11 月 2 日发布博客,介绍 Cosmos 平台如何通过 Cosmos Framework 和 Cosmos NIM 微服务,帮助物理 AI 开发者更便捷地训练世界模型并投入应用。
事件核心:发生了什么
NVIDIA 官方博客详细说明了 Cosmos 平台的两部分能力。Cosmos Framework 是一个开放、模块化的框架,覆盖世界模型的训练、优化和推理全流程,并新增了基于 agent 的技能,可执行训练、评估和故障排查等任务。其训练能力支持 LoRA 和全参数 SFT,数据加载兼容 JSONL、WebDataset、LeRobot 等格式;强化学习方面新增 DPO、GRPO、PPO、OPD 及面向扩散世界模型的 DiffusionNEFT 等管线。推理侧支持 Hugging Face Diffusers、PyTorch、SGLang、vLLM、TRT-LLM 及 NVIDIA NIM 等后端。此外,博客还介绍了 Cosmos NIM 微服务的部署流程,包括选择 GPU 配置、启动容器、验证就绪状态和发送首个推理请求。在仿真方面,新发布的 Cosmos 3 Nano 配方和示例检查点可支持自动驾驶、机器人及手术场景的交互式仿真,并生成同步的摄像头视频与 LiDAR 观测。目前公开信息显示,这些检查点支持 PyTorch 和 vLLM-Omni,并在 Hopper 和 Blackwell GPU 上测试。
为什么重要
物理 AI 的落地长期受限于两个环节:模型要适配特定传感器、任务和数据,以及模型能否可靠地进入应用。Cosmos 同时瞄准了这两点。Framework 将训练、优化、仿真评测和推理串联成可复用的流程,并借助 agent 技能降低操作门槛;NIM 则以容器化微服务的方式提供 GPU 加速推理,缩短从检查点到线上服务的距离。对行业而言,这进一步巩固了 NVIDIA 在物理 AI 工具链上的布局,也为自动驾驶、机器人等场景的开发者提供了更完整的开源与商业服务组合。
对用户/开发者/创作者的影响
开发者可以直接使用已发布的检查点和推理配方,基于 Cosmos 3 Nano 适配自定义传感器、动作空间和数据域,而不必从零搭建训练管线。Agent 技能支持限定任务边界,例如在指定数据集上后训练、固定 GPU 小时数、用多个随机种子在留存数据上对比基线。对于部署而言,NIM 让团队可以按 GPU 配置选择服务方案,通过 API 接入应用。不过,博客展示的是配方和示例流程,实际效果仍需结合具体数据与场景验证。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 Cosmos 3 Nano 仿真配方在真实传感器和任务上的泛化表现;二是 Framework 对 Alpamayo、GR00T、Qwen、pi0.5 等外部模型的支持进展,这决定其生态开放程度;三是 NIM 微服务的定价、可用区域和延迟数据是否公开,以及竞品是否跟进类似的物理 AI 世界模型工具链。


