一句话看懂：论文提出 Value as Memory（VaM）框架，让机器人在真实部署中利用最近的价值预测作为任务进度记忆，并结合在线强化学习持续更新策略。在三个长程操作任务上，相比匹配的离线训练，在线自主学习带来 32.8% 的成功率提升。
事件核心：发生了什么
2026 年 10 月公开于 alphaXiv 的论文《Value as Memory: Online Value-Guided Post-training for General Robot Policies》提出 VaM 框架，针对通用机器人策略在真实世界后训练中的两个问题：部分可观测导致动作选择模糊，以及离线方法对部署经验反馈滞后。VaM 的做法是把近期价值预测缓存起来，作为策略的“任务进度记忆”输入，让策略能判断是在推进、停滞还是倒退。训练流程依次经过演示数据的行为克隆、离线 RL 预热、带人工干预的 Online DAgger，最后进入仅依赖稀疏终端奖励的自主学习阶段。论文报告，在箱子装配、叠衣服和磁性总线装配三个真实机器人长程任务上，相比无缓存消融平均提升 29.4 个百分点；在同样梯度步数预算下，在线调度执行约 8 倍策略迭代次数，每梯度步记录时间降低 2 倍以上。
为什么重要
机器人基础模型的能力不只取决于预训练规模，更取决于部署后能否从真实经验中持续修正。VaM 把“进度估计”变成策略输入，相当于给动作模型加了一层轻量的内部状态记忆，同时把在线 RL 的数据采集和训练并行起来。目前公开信息显示，这些结果来自论文对比实验，并非已上线产品或第三方复现，因此应理解为一条值得观察的技术路线，而非结论性突破。
对用户/开发者/创作者的影响
对机器人应用开发者而言，VaM 提示了一条降低对高质量演示数据依赖的路径：先用演示和离线 RL 起步，再在部署中结合稀疏奖励和人工干预逐步自治。对关注具身智能的团队，价值缓存这种“用历史预测补足当前观测”的设计，可迁移到其他需要进度判断的长程任务。不过其收益依赖任务设置和真实机器人条件，尚未体现为可调用的 API 或开源实现。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是后续是否公开代码或更多任务上的复现结果；二是在不同机器人平台和传感器配置下的稳定性；三是“在线自主学习”阶段对人工干预频率的真实需求，以及安全边界如何设定。
来源：alphaXiv
