ZeroVLN 提出免导航微调 VLM 新框架,慢快双策略提升 VLN-CE 表现

Hugging Face Papers 收录的 ZeroVLN 论文提出一种慢快导航框架,让视觉语言模型(VLM)不再用导航数据做监督微调(SFT),改以语义工具调用接口下达移动指令,并在 VLN-CE 基准上超过代表性 SFT 分层方法。值得关注的是,它试图同时保住 VLM 的通用能力与导航性能。

一句话看懂:Hugging Face Papers 收录的 ZeroVLN 论文提出一种慢快导航框架,让视觉语言模型(VLM)不再用导航数据做监督微调(SFT),改以语义工具调用接口下达移动指令,并在 VLN-CE 基准上超过代表性 SFT 分层方法。值得关注的是,它试图同时保住 VLM 的通用能力与导航性能。

事件核心:发生了什么

2026 年 11 月 19 日发布的论文摘要显示,ZeroVLN 由两部分组成:一个“慢”的 VLM 大脑负责做移动决策,一个“快”的动作专家负责连续执行。研究团队没有让 VLM 去预测几何目标,而是给它配上语义工具调用接口,用自然语言把移动请求传给动作专家。训练分两步:先让动作专家学会执行这些请求,再通过闭环强化学习(RL)同时改进 VLM 的决策与动作专家的执行。作者称,在相同导航数据上训练后,ZeroVLN 在标准 VLN-CE(连续环境)基准上明显优于代表性的 SFT 分层 VLN 方法,且对 VLM 原始权重改动很小,通用视觉能力基本得以保留。目前公开信息仅限于摘要,完整实验细节和同行评审状态尚未核验。

为什么重要

主流 VLN 方案通常把 VLM 大脑和可学习动作头耦合,再用导航领域数据微调 VLM 去预测几何目标。这种做法会大幅改动基座权重,可能削弱模型原本的视觉理解力。ZeroVLN 的价值在于提出另一条路线:不教 VLM 学导航坐标,而是让它以自然语言调用工具,把“理解与决策”和“执行与控制”解耦。如果路线成立,VLM 可以保留通用能力,导航能力则更多由动作专家和闭环 RL 承担。这对依赖多模态基座做机器人、具身智能应用的开发者有参考意义。

对用户/开发者/创作者的影响

对开发者而言,ZeroVLN 暗示了一种更省微调成本的分工方式:基座 VLM 不必为每个导航场景重新训练,通用视觉能力可复用,动作专家和接口层承担领域适配。对做具身智能或机器人原型的团队,工具调用式接口比直接回归几何目标更接近大模型现有的 API 使用习惯,便于工程集成。对普通用户和内容创作者,这项研究短期不会改变现成产品,但它指向的“少改基座、多靠接口”思路,可能影响未来 AI 应用在真实空间任务中的落地成本。目前公开信息显示,论文尚未给出可直接调用的模型或 API。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,完整论文是否披露更多 VLN-CE 基准细节和消融实验,尤其是“仅小幅改动权重”的定量证据。第二,闭环 RL 训练是否稳定、算力开销多大,是否具备复现条件。第三,这条“零导航 SFT”路线能否扩展到真实机器人平台,以及是否会有开源实现或竞品跟进。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36203

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注