用时间而非事件记记忆,VLA机器人出现“幻影进度”

一项发表于 Hugging Face Papers 的研究指出,许多带记忆的视觉语言动作(VLA)策略按时间均匀采样记住画面,导致机器人把“等待”误当成“工作”,在计数任务中提前收工;仅改变记忆索引方式即可挽回一半以上损失。

一句话看懂:一项发表于 Hugging Face Papers 的研究指出,许多带记忆的视觉语言动作(VLA)策略按时间均匀采样记住画面,导致机器人把“等待”误当成“工作”,在计数任务中提前收工;仅改变记忆索引方式即可挽回一半以上损失。

事件核心:发生了什么

该研究在 RoboMME 的计数任务上测试了一类带记忆的 VLA 策略:它们按固定时间间隔采样帧,并给每帧打上时间戳。当机器人被安排短暂停顿或空转手腕时,任务依赖的信息没有任何变化,但已发布的记忆型 VLA 却把这段空档当成已完成的工作,提前停止。作者称这一失败为“幻影进度”。在一个任务上,成功率从 50 次中成功 47 次降到 16 次;另一个任务从 44 次降到 10 次。把同一批帧从记忆中移除后成功率恢复,说明问题出在记忆机制,而非中断本身。

为什么重要

目前公开信息显示,作者将失败归因于“时间捷径”:演示数据通常匀速推进,所以经过的时间能预测任务进度。仅重缩放时间戳,就能让策略在“时钟走快”时提前停止、在“时钟走慢”时重复动作。更关键的是,去掉时间编码并不能修复,因为空事件的帧仍占据按时间采样的记忆槽位。脆弱性取决于记忆如何被索引。修复尝试中,注入停顿训练未能消除失败,还损害了计数;改为按事件索引记忆,无需重训即可恢复至少一半损失。这提醒 VLA 开发者:记忆模块的设计比“有没有记忆”更重要。

对用户/开发者/创作者的影响

对机器人应用开发者,尤其是使用开源 VLA 模型做长程操作任务时,按固定频率采样帧的默认实现可能带来隐蔽的可靠性问题,在需要等待、避障停顿或人机交接的场景中尤其明显。评估时若不加入空事件,这类缺陷容易被忽略。对采购方,这意味着 demo 中的计数或进度能力未必能直接迁移到真实节奏多变的环境。作者建议的方向是让记忆按事件而非时钟滴答计数,这对记忆增强型 VLA 的训练与推理设计是一个可落地且低成本的调整方向。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是按事件索引记忆的具体实现能否在更多 RoboMME 任务和真实机器人上复现;二是主流开源 VLA 框架是否跟进修改默认记忆采样逻辑;三是后续工作能否证明注入停顿训练之外更有效的修复手段。目前结论基于论文摘要,全文实验条件与规模尚待核验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 34280

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注