USDCraft 用 LLM 写程序生成可仿真铰接 3D 资产

事件核心：发生了什么

这篇论文关注的不是生成好看的 3D 模型，而是“能用的”仿真资产：带关节、带物理属性、可以直接在仿真器里做机器人操作训练。现有基于网格的方法依赖带标注的 3D 资产来学习推断关节结构，但真实物体一旦超出训练分布，或者网格本身不完整、出现损坏，部署就会失败。

作者把铰接资产重建重新表述为“程序化建模”：给定部分几何证据，让预训练 LLM 编写并修改可执行程序，而不是用任务数据训练专用模型。方法包含两个关键环节——源几何分析，把源网格转成带度量的文本描述，明确区分已观测表面和未知空间；迭代几何复查，把每个候选结果重新编码成同一表示，差异处指向程序修改，未观测区域则保持开放等待补全。再配合视觉反馈和物理建模指导，最终产出带显式物理属性的铰接 USD 资产，可加载进 Isaac Sim 而无需手动调整。

论文摘要称，该方法在两个基准上取得领先的关节恢复结果，并验证了面向 real-to-sim-to-real 机器人操作的有效性。需要说明的是，目前公开信息仅为论文摘要，未核验全文实验细节，也不代表已有可下载产品或 API 上线。

为什么重要

机器人学习长期受困于仿真与真实之间的差距。仿真里训练的策略要迁移到物理世界，仿真资产必须几何可信、关节关系正确、物理参数合理。传统做法要么依赖人工建模和标注，要么用学习式方法，但后者面对分布外物体和残缺网格时容易失效。

USDCraft 的思路是把“预测”换成“写程序”，用 LLM 的代码生成能力构造可解释、可迭代修改的资产。这既绕开了任务特定训练，也让未观测区域有补全空间，对 sim-to-real 流程是一个务实的技术路线。如果这类方法成熟，仿真资产的生产成本可能显著下降，机器人策略训练的迭代速度会更快。

对用户/开发者/创作者的影响

对机器人研发团队和仿真工程师来说，这类工具一旦产品化，可能让“扫描或下载一个物体网格，再自动生成可仿真资产”成为常规流程，减少在 Isaac Sim 等平台里手动绑关节、调物理参数的时间。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对 3D 创作者和数字资产平台，铰接 USD 资产如果可由程序自动生成，资产的可复用性和可交易性会提升，但也意味着质量门槛从“看起来像”转向“物理上能用”。开发者可以关注它是否开源、是否提供 Python 接口，以及能否接入现有 USD/Isaac Sim 工作流。

值得关注的后续

第一，论文是否开源代码和模型权重，这决定开发者能否复现和二次开发。第二，两个基准上的领先结果是否在更杂乱的残缺网格和分布外物体上依然成立。第三，是否有机器人公司或仿真平台把它集成进资产管线，形成从真实扫描到仿真训练的闭环。

来源：Hugging Face Papers