NVIDIA Cosmos-H-Dreams：将实时生成式模拟引入手术机器人

事件核心：发生了什么

2026 年 7 月 27 日，NVIDIA 在 Hugging Face Blog 上宣布推出 Cosmos-H-Dreams。该产品是一个实时、动作条件（action-conditioned）的生成式模拟器，专门针对手术机器人场景设计。它源于此前发布的 Cosmos-H-Surgical-Simulator——一个基于 Cosmos-Predict2.5-2B 模型、在 Open-H-Embodiment 数据集上微调的动作条件世界基础模型。Cosmos-H-Dreams 通过“教师-学生”蒸馏流水线，将多步扩散教师模型压缩为因果少步学生模型，并借助 NVIDIA 的 FlashDreams 流式推理库实现加速。最终模型在单块 NVIDIA RTX PRO 6000 GPU 上即可运行，支持人类或学习策略闭环控制。

目前发布的版本专注于 da Vinci Research Kit（dVRK）桌面缝合任务，训练数据包括 JHU dVRK 桌面混合数据集，其中不仅包含成功演示，还纳入了针掉落、抛接失误和打结失败等失败案例。此外，NVIDIA 与 CMR Surgical 和 Cambridge Consultants 合作，将 Cosmos-H-Dreams 整合到了 Versius 手术控制器上，验证了跨平台实用性。

为什么重要

手术机器人正从遥操作向视觉-语言-动作策略（VLA）演进，但现有训练和评估方式面临巨大瓶颈：物理机器人平台运行成本高、实验重复性差、失败可能损坏器械或生物组织。传统模拟器虽然安全，但手术场景中软组织变形、精细器械交互、镜面反光、烟雾遮挡等复杂物理现象难以人工建模。Cosmos-H-Dreams 提供了一条新路径——不依赖手工规则，而是直接从同步视频和机器人运动学数据中学习视觉动力学，并以实时交互速度生成合成视频。这使得策略开发者可以在不接触物理机器人的情况下，快速测试各种动作序列，包括失败场景，显著降低开发门槛和硬件投入。同时，它拓展了世界基础模型在具身智能领域的应用边界，从离线评估演进为可交互的闭环仿真工具。

对用户/开发者/创作者的影响

对于手术机器人算法开发者，Cosmos-H-Dreams 提供了一个低成本的策略迭代环境：可以在笔记本（搭配 RTX PRO 6000 级显卡）上实时运行，闭环测试新策略，而无需排队等待物理机器人时间。对于机器人研究机构，它意味着合成数据生成能力的大幅提升——只需提供初始帧和动作序列，模型即可生成连续视频，可用于训练数据扩充或策略鲁棒性测试。对于手术机器人硬件厂商（如 Intuitive Surgical、CMR Surgical 等），该方案提供了一种评估未来 VLA 策略的标准化测试平台，可能加速从研发到临床验证的流程。不过，目前公开信息显示该模型仅限于 dVRK 桌面缝合任务，泛化到其他手术类型和机器人平台仍需后续工作。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

• 模型开源与生态扩展：Cosmos-H-Dreams 已通过 Hugging Face 发布，后续是否会开放更多手术任务（如内窥镜、显微手术）的微调版本，将直接影响社区采用率。
• 硬件适配门槛：虽然单卡 RTX PRO 6000 即可运行，但该显卡定价不菲，未来是否会推出更轻量化的版本来适配消费级 GPU（如 RTX 4090），将影响独立开发者的参与。
• 与物理机器人验证闭环：目前模拟环境是否能覆盖真实手术中所有物理细节（如组织力学反馈、触觉信息）尚无数据支持，实际策略在模拟-真实迁移中的效果需要更多第三方评估。

来源：Hugging Face Blog