NVIDIA 论文提出联合生成 3D 动作与视频，支持任意骨架

一句话看懂：NVIDIA 研究团队在 Hugging Face 公开论文，提出一个能同时生成视频与可回放的 3D 动作模型，并支持任意骨架绑定。它试图让视频模型生成的动作能直接迁移到 3D 资产上，而不只停留在像素层面。

事件核心：发生了什么

根据论文摘要（发布时间标注为 2026 年 10 月 20 日），现有视频生成模型可以表现逼真动作，但难以把动作转化为可复用的 3D 数据，例如让一只猴子跳栏后，把这段跳跃还原成可以放入 3D 场景回放的动作。该研究提出将 3D 动作保留在独立模型中，支持任意骨架，并通过少量交叉注意力层连接预训练视频模型。模型同时学习在视频帧中定位每个关节，从而恢复相机参数，把 3D 动作放回场景。团队借助生成式视频编辑器，将动画 3D 资产放入与动作匹配的场景，并筛选编辑结果，再结合人类和机器人视频，共构建近 20 万对训练数据。需要说明，摘要不等于完整实验或已上线产品，具体能力仍待核验。

为什么重要

目前不少视频动作方法只处理人体骨架，或从生成的 2D 姿态图三角化出 3D 动作。这篇论文的路线是把动作模型与视频模型解耦：动作模型先从更易获取的动作数据中学习骨架运动，再与视频模型对接。若该思路成立，可能降低对配对视频数据的依赖，并让视频生成走向可编辑、可回放的 3D 动画资产。对 3D 内容生态而言，这连接了视频生成、角色动画和场景注册三个环节。

对用户/开发者/创作者的影响

对开发者和动画创作者，摘要注意的核心能力包括：从文本驱动不同骨架资产；让动作响应周边场景；在视频与骨架动作之间双向转换；以及用关键帧控制 3D 动作。这意味着未来视频生成工具可能不只输出画面，还能输出可复用动作数据。不过目前公开信息仅限论文摘要，尚不清楚推理成本、支持的骨架类型范围、开源与闭源安排，也没有可调用 API 或产品发布信息。