后训练 NVIDIA Cosmos 3 Edge，实现设备端机器人控制

事件核心：发生了什么

NVIDIA 在官方生成式 AI 博客中介绍了 Cosmos 3 Edge 的后训练与部署方案。Cosmos 3 Edge 是 Cosmos 3 系列中针对设备端场景设计的 4B 参数全模态模型，内部包含一个基于 Nemotron 的 2B 推理器。它与 Cosmos 3 Nano、Cosmos 3 Super 使用相同的物理世界预训练数据，具备对物体运动、碰撞和交互的底层理解能力，但体积足够小，可直接运行在 Jetson Thor 上。

NVIDIA 同时发布了配套教程和开源工具链：开发者可以使用 cosmos-framework 仓库，在 nvidia/Cosmos3-DROID 数据集（含 76k 条遥操作轨迹、约 350 小时数据，覆盖 86 个任务和 564 个场景）上对模型进行后训练，将其转化为机器人操作策略，并在 Jetson AGX Thor T5000 上实现闭环仿真评测。实测数据显示，该策略生成一个动作块约需 1.53 秒（640×540 分辨率、15 Hz 输入），单个动作块覆盖约 2.13 秒的机器人运动，在闭环 RoboLab 任务中成功率达到 22.9%。训练端则依赖高性能算力，官方验证配置为 64 节点 4× GB200，约运行 68 小时（约 1.74 万 GB200 小时）。模型 checkpoint 已发布于 HuggingFace。

为什么重要

世界模型此前的主要瓶颈在于参数量大、推理慢，通常只能在云端 GPU 上运行，难以满足机器人对实时性和设备内存的严苛要求。Cosmos 3 Edge 的关键意义在于验证了一条可行路径：4B 规模的世界基础模型经过后训练后，能够在设备端承担实时操作策略任务，无需将推理卸载到数据中心。这意味着机器人控制系统的架构可能从“云端大脑+本地执行”转向“完全本地实时决策”，对工业自动化、服务机器人等对延迟和网络稳定性敏感的场景有直接价值。

从生态角度看，NVIDIA 将训练数据、代码库、模型权重和部署工具一并开放，降低了开发者复现和二次开发的门槛。同时，Cosmos 3 系列支持多种机械臂形态（如双臂 Franka、UR、WidowX 250、LeRobot SO101），说明 NVIDIA 正试图将世界模型后训练标准化，推动行业从“专用小模型微调”向“通用世界模型+后训练适配”转变。

对用户/开发者/开发者/创作者的影响

对机器人开发者而言，Cosmos 3 Edge 提供了接近“开箱即用”的参考流程：数据准备、训练、部署和闭环评测均有明确的工具和示例代码。自带数据集的格式为 LeRobotDataset v3.0，开发者只需将自有数据转换为相同格式，并针对不同机械臂配置调整动作空间和相机布局，即可尝试后训练自己的策略模型。

需要注意的是，这不是单卡可完成的微调任务。官方给出的验证配置是 64 节点 4× GB200，约需 1.74 万 GB200 小时，普通团队可能无法直接复现完整训练开销。不过 NVIDIA 提供了已发布的 checkpoint，开发者可以跳过预训练阶段，直接基于现成权重进行部署和评测。

对于使用 Jetson Thor 等边缘设备的用户，这一方案意味着机器人可以脱离云端依赖，在本地完成连续动作生成和重规划，对网络不稳定或数据隐私敏感的场景更友好。原始素材显示，动作块策略采用“生成一块、边执行边规划下一块”的方式，并非每个观察帧都重规划，这种设计有助于在有限算力下维持控制频率。

值得关注的后续

第一，实际部署效果能否在更多物理机器人上复现。目前 22.9% 成功率来自闭环仿真环境（RoboLab），真实物理环境中的表现尚待第三方验证。

第二，训练成本是否会出现更低门槛的版本。当前算力需求对中小团队偏高，如果后续 NVIDIA 发布更小的模型或更高效的训练方法，将显著扩大开发者基数。

第三，社区生态的适配速度。LeRobotDataset v3.0 格式的采用情况、不同机械臂配置的社区贡献，以及是否有第三方推出一键式后训练工具，都是观察该方案能否成为行业标准的重要信号。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

来源：NVIDIA Generative AI Blog