StopWatch用显式目标接地补上物体目标导航最后一环

2026年10月公开的论文 StopWatch 指出,物体目标导航的微调 VLM 主要败在“没认出目标已进入视野、也没估准距离”,它把可见类别与目标距离整理成结构化接地信号,在清洗后的 HM3D-OVON 验证 unseen 子集上达到 69.6% 成功率,高于 LightNav-0 的 60.8%。

一句话看懂:2026年10月公开的论文 StopWatch 指出,物体目标导航的微调 VLM 主要败在“没认出目标已进入视野、也没估准距离”,它把可见类别与目标距离整理成结构化接地信号,在清洗后的 HM3D-OVON 验证 unseen 子集上达到 69.6% 成功率,高于 LightNav-0 的 60.8%。

事件核心:发生了什么

论文研究的是 room-to-object 导航:机器人在陌生住宅里找到指定类别的物体并停在合适位置。作者诊断发现,失败集中在目标接地,而非探索能力;多个微调 VLM 策略会出现目标已出现却转向离开的情况。StopWatch 的做法是把训练场景的语义与几何标注编译成每帧的接地文本,训练一个感知模型从 RGB 帧预测该文本,再由独立策略模型结合观测历史和真实接地选择前进、左转、右转或停止;测试时用感知模型预测代替标注。论文称在三个场景集合共六个基准取得最佳结果,并修正了这些基准的标注缺陷。

为什么重要

当前常见的路径是把 VLM 直接微调成导航策略,这篇论文把瓶颈指向感知侧的目标定位成本,而不是继续堆策略学习。作者在干净基准上用真实接地时,策略几乎追平生成演示的专家,说明限制在感知而非动作决策。分离式设计在干净 HM3D-OVON val-unseen 子集(2309 个 episode)上为 69.6%,单模型同时写接地并决策为 50.7%,单独语义字段为 68.7%。这些是论文条件内的对照,不是长期排名。

对用户/开发者/创作者的影响

对做具身智能和机器人应用的开发者,这套感知与策略解耦、接地文本可独立扩展的流程,比端到端单一模型更容易排查失败:先确认目标是否被看见,再判断动作。数据集标注错误被审计修正,也提醒依赖公开 benchmark 的团队先核对评测口径。普通用户层面,这意味着家庭服务机器人寻找物品的最后一步仍需验证实际部署表现;论文摘要未说明已上线产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 感知模型的可预测性与鲁棒性是否在真实场景中延续;2. 修正后的基准是否被其他方法采用,以及官方协议数字是否重新对齐;3. 分离式设计与单模型推理的边界,是否有更大规模模型和多场景数据改变结论。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29411

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注