ScaleNav用互联网第一视角视频做机器人局部导航预训练

浙江大学等团队在 Hugging Face Papers 发布论文摘要,提出 ScaleNav,用互联网第一视角视频做语言条件局部导航预训练,在仿真基准和四足机器人上做了验证。

一句话看懂:浙江大学等团队在 Hugging Face Papers 发布论文摘要,提出 ScaleNav,用互联网第一视角视频做语言条件局部导航预训练,在仿真基准和四足机器人上做了验证。

事件核心:发生了什么

据 Hugging Face Papers 收录的论文摘要(2026 年 10 月 19 日),研究者聚焦“语言条件局部导航”:机器人依据文字指令,前往初次观察中可见的目标位置并停在那里。真实机器人数据采集成本高,仿真数据又存在 sim-to-real 差距,而互联网上的第一视角视频提供了可扩展的真实世界导航经验。ScaleNav 的核心思路是从这类视频中学习“朝目标行进的视觉动态”,再以此支撑机器人动作生成。框架分三阶段训练:先做指令条件视频预训练,再做动作对齐(用带动作标签的仿真数据训练可执行动作片段预测),最后联合微调。摘要给出的成功率是:Short-Horizon OVON 单视角适配版本 86.5%,团队自建的 HabitatGS-LN 基准 94.9%,两项均高于所评估的基线;此外已在真实四足机器人上部署验证。

为什么重要

机器人导航长期受制于“数据从哪来”。纯仿真便宜但有差距,纯实采真实但昂贵。ScaleNav 把互联网第一视角视频当作可规模化扩展的训练来源,再借少量动作标注数据把视觉预测接到可执行动作上,这为具身智能的数据路线提供了新样本。不过需注意:上述结果均出自论文摘要,未核验全文实验细节,基准成绩也仅在所述任务与条件下成立,不能视为行业永久排名。

对用户/开发者/创作者的影响

对具身智能与机器人开发者而言,值得关注的是“世界模型 + 动作头”的三阶段训练范式,以及把视频预训练与仿真动作对齐结合的做法;若代码与视频如摘要所述公开,可留意其训练成本、数据清洗流程和真机部署门槛。对普通用户,这类研究距离消费级产品仍有距离,短期更可能影响服务机器人、巡检机器人等场景的导航能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是全文是否披露更多真实场景与失败案例,尤其是四足机器人部署的具体条件;二是代码和数据管线开放程度,是否便于复现与二次开发;三是与传统仿真训练、端到端模仿学习方案的对比是否进一步公开。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29656

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注