SpecWM 用谱对齐定义世界模型该保留什么,规划成功率最高提升至 77%

alphaXiv 收录的论文提出 SpecWM,通过指定观测之间的目标相似度来决定世界模型保留哪些信息;在 OGBench 与 CALVIN 模拟任务中,其规划成功率明显高于对照方法 LeWM。

一句话看懂:alphaXiv 收录的论文提出 SpecWM,通过指定观测之间的目标相似度来决定世界模型保留哪些信息;在 OGBench 与 CALVIN 模拟任务中,其规划成功率明显高于对照方法 LeWM。

事件核心:发生了什么

这篇名为《World Modeling through Spectral Alignment》的论文提出 SpecWM,属于 JEPA 家族。它不再把“该保留什么”交给预测目标隐式决定,而是引入一个目标相似度核:教师给出观测之间的距离,拉普拉斯核把距离转成目标相似度,编码器再通过谱损失让嵌入几何去匹配这组关系。监督信号可以来自物理状态,也可以在无标签时只依赖轨迹内的观测顺序,即时间核。论文还讨论了目标的全局最优、线性可恢复条件和对干扰信息的鲁棒性,并在理想化设定下把时间核相似度与行为后继度量联系起来。

摘要给出的实验数据显示,核的选择会显著影响表征中可恢复的物理量;更关键的是,时间谱对齐让 CEM 规划成功率相比 LeWorldModel 在 OGBench Cube 上从 52% 提高到 68%,在 OGBench Scene 上从 49% 提高到 77%,在 CALVIN 上从 29% 提高到 51%。这些结果是特定模拟基准和评测条件下的结果,不代表已上线产品。

为什么重要

视觉目标条件操作里,机器人只能用相机观测去达成目标图像,而图像中大量细节对控制并不重要。世界模型如果把这些无关差异也编码进去,规划时反而容易被干扰。SpecWM 的思路是把表征几何变成可明确指定的对象,让研究者用不同核来“告诉”模型哪些差异更值得保留。这对 JEPA 这类不走像素重建的潜空间世界模型是一条相对简单的可操控路径,也提示表征学习的目标函数设计会直接影响规划能力。

对用户/开发者/创作者的影响

目前公开信息显示,这项工作的直接受众是机器人学习、具身智能和世界模型方向的研究者与开发者。它没有发布可直接调用的 API 或产品,也没有给出跨真实机器人的结论。若后续开源,开发者可能获得一种按任务需求定制表征监督的可选方案;对内容创作者和普通用户而言,短期内没有直接可用的工具变化。需要注意的是,论文展示的是模拟环境中的规划成功率,真实场景的泛化、算力开销和训练稳定性仍需独立验证。社区评论也不能等同于作者结论。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 SpecWM 是否公开代码与预训练权重,以及在真实机器人任务上是否仍保持优势;二是其他 JEPA 类世界模型是否会跟进显式表征几何的做法;三是不同核函数的选择是否会有更系统的规律,以及在大规模训练和推理成本上的实际表现。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29133

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注