世界模型为何学不会动作细节?AFFECT 用动作扰动对齐视觉变化

2026 年 11 月 19 日,Hugging Face Papers 收录论文 AFFECT,提出一种辅助训练目标,让世界模型在动作发生微小扰动时,生成的视频像真实录像一样跟随变化,从而更贴近真实环境动态。

一句话看懂:2026 年 11 月 19 日,Hugging Face Papers 收录论文 AFFECT,提出一种辅助训练目标,让世界模型在动作发生微小扰动时,生成的视频像真实录像一样跟随变化,从而更贴近真实环境动态。

事件核心:发生了什么

论文摘要指出,当前世界模型虽然生成的视频越来越逼真,却常忽略小幅动作变化对后续观察的影响。AFFECT 的做法是:向基于人类遥操作策略生成的动作注入时间相关的噪声,再训练世界模型,使其生成的视频对这些扰动的响应与真实录像一致,而无需从同一初始状态反复执行。在 OGBench 仿真以及真实世界的 DROID、ALOHA-2 设置中,AFFECT 让世界模型 rollout 更忠实于真实结果;在 DROID 上,世界模型中的策略成功率与真实机器人之间的 Pearson 相关系数由 0.47 升至 0.79,FVD 最多降低 23%;在规划任务中,用 AFFECT 训练的世界模型选动作使任务成功率最多提升 8.3%。目前公开信息仅来自论文摘要,全文实验与同行评审状态尚未核验。

为什么重要

机器人策略评估和基于模型的规划依赖世界模型给出可信的“如果这样做会怎样”的预测。若模型对动作扰动不敏感,几乎相同的动作可能被预测为相同结果,评估和规划就会失真。AFFECT 把“动作效果匹配”变成训练目标,为世界模型补上动态保真度这一环,对模型-based planning 和机器人策略评测有直接意义,也提示视频生成质量不等于决策可用性。

对用户/开发者/创作者的影响

对机器人开发者而言,这类方法若后续落地,可能减少真机反复执行的成本,但当前仍处于论文阶段,尚不能视为可直接调用的 API 或工具。对关注世界模型的研究者,AFFECT 提供了一种不依赖重复执行的数据利用思路;对内容创作者,视频生成更逼真并不自动等于动作响应更准,评估视频模型时需区分视觉质量与动态忠实度。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文是否公开完整实验与代码,能否复现 DROID 上的相关性提升;二是该训练目标能否迁移到更大规模、闭源世界模型;三是机器人社区是否跟进类似“动作扰动对齐”的训练方案。目前公开信息显示,这些仍有待观察。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36147

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注