∇Mimic 用可微仿真把 G1 全身跟踪训练缩到 20 分钟

研究者提出 ∇Mimic 和配套的 NablaEngine,用可微仿真产生的精确梯度训练人形机器人全身跟踪策略,在单张 GPU 上约 20 分钟达到此前世界模型方法 0.82 的分数,而后者报告需要 1.2 小时。论文已开源这两项基础设施,但实验只覆盖仿真中的 LAFAN1 动作集。

一句话看懂:研究者提出 ∇Mimic 和配套的 NablaEngine,用可微仿真产生的精确梯度训练人形机器人全身跟踪策略,在单张 GPU 上约 20 分钟达到此前世界模型方法 0.82 的分数,而后者报告需要 1.2 小时。论文已开源这两项基础设施,但实验只覆盖仿真中的 LAFAN1 动作集。

事件核心:发生了什么

据 alphaXiv 收录的论文页面,∇Mimic 针对 Unitree G1 人形机器人,在 40 个 LAFAN1 动作片段上训练单一全身跟踪策略。按摘要,它在单张 GPU 上 20 分钟达到 0.82 分,1.8 小时达到 0.874;作为对比,SuperMimic 报告的世界模型方法在 1.2 小时内达到 0.82。论文同时发布 NablaEngine:一个面向 G1 的可微 GPU 仿真引擎,声称计算 MuJoCo 完整接触动力学,解析梯度与 float64 有限差分吻合,反向传播比现有 MuJoCo Warp adjoint 快约 11.5 倍。标准一阶基线 SHAC 在该设置下数分钟内因梯度爆炸停止。

为什么重要

机器人策略训练长期依赖 PPO 这类零阶方法,把仿真器当黑盒,样本消耗大。一阶方法直接对动力学求导,信息更丰富,但在接触丰富的全身控制中梯度容易爆炸,SHAC 即为例证。SuperMimic 用学习到的世界模型提供有界替代梯度,∇Mimic 则选择驯服仿真器自身的精确梯度:用逐样本中位数相对裁剪限制极端梯度,用多步回归复用昂贵的仿真窗口,再配合更快的伴随计算。目前公开信息显示,这条路线若成立,可降低训练人形跟踪策略的算力与时间门槛,但尚无证据表明它能直接迁移到真实硬件。

对用户/开发者/创作者的影响

对做机器人强化学习的开发者,NablaEngine 和 ∇Mimic 以开源形式发布,提供了可复现的一阶训练栈,值得关注其接口能否兼容 MuJoCo 生态和自定义机器人模型。对关注具身智能应用的团队,训练成本下降意味着更大动作库的跟踪策略在仿真中更易迭代,但论文的评测限于 LAFAN1 仿真任务,尚不涉及 Sim2Real 部署或真实机器人表现。算力层面,单卡训练若可复现,会降低小团队进入门槛。

值得关注的后续

一是开源代码是否完整、能否在 MuJoCo Warp 之外复现 11.5 倍加速与训练曲线;二是梯度裁剪在多机器人形态、不同接触场景下是否仍然稳定;三是是否有团队把该策略迁移到真机,以及 SuperMimic 等世界模型路线是否会跟进对比。上述结论均以论文摘要和页面信息为限,评分对比并非同硬件复现。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 32053

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注