VLA微调会丢语言能力?新论文提出参数合并法恢复VLM性能

arXiv 上的一篇新论文指出,视觉-语言-动作模型(VLA)在机器人数据上微调后会严重遗忘原视觉语言模型(VLM)的语义与视觉理解能力,作者提出不重新训练、直接合并两者参数的方法来同时保住动作预测和语言能力。

一句话看懂:arXiv 上的一篇新论文指出,视觉-语言-动作模型(VLA)在机器人数据上微调后会严重遗忘原视觉语言模型(VLM)的语义与视觉理解能力,作者提出不重新训练、直接合并两者参数的方法来同时保住动作预测和语言能力。

事件核心:发生了什么

2026 年 11 月 17 日,arXiv cs.AI 收录了一篇新论文(编号 2611.18891)。论文针对的是 VLA 模型的常见做法:先拿预训练好的 VLM 当底座,再用机器人示范数据微调,使其能根据画面和语言指令输出动作。作者指出,这一步微调会引发灾难性遗忘,让原 VLM 的语义理解和视觉 grounding 明显退化。

其方案不改动两个模型的训练过程:先提取 VLA 权重与 VLM 权重之差形成“任务向量”,再做奇异值分解,对每个分量学习一个标量混合系数,用来决定保留多少 VLA 的适配信息。摘要称,合并后的模型在动作预测和视觉语言能力两条轴上同时表现良好,并稳定优于已有的合并基线。

为什么重要

VLA 是当前具身智能和机器人方向的热门路线,多数团队的做法都是“拿开源 VLM 微调”。如果微调必然损伤语言与视觉理解,模型对复杂指令、少见物体和场景的泛化就会打折。论文的价值在于,它把问题从“重新设计训练流程”拉回到“权重层面的后处理”,不需要重训,算力成本相对可控,对依赖开源 VLM 做机器人 AI 应用的团队有直接参考意义,也可能影响未来 VLA 的发布方式:底座与动作头如何组合、如何分发。

对用户/开发者/创作者的影响

对开发者而言,这套思路意味着可以在已有 VLM 和微调后的 VLA 检查点之间做参数合并,而不必从头再训一遍,适合资源有限、又想兼顾指令理解和动作精度的团队。对做机器人产品或 AI 应用的一方,它提供了一个评估维度:上线前除了看抓取成功率,也该测语言指令跟随和视觉识别是否退化。普通用户短期内感知有限,因为目前公开信息仅为论文摘要,尚无对应产品、API 或开源权重发布。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文的实验规模:在哪些机器人任务、哪些 VLM 底座上验证,退化幅度和恢复程度是否有量化数据;二是合并系数是否需要按任务重新学习,迁移到新场景的成本有多高;三是是否有团队把这套方法做成开源工具或集成进主流 VLA 训练框架,从而进入实际部署流程。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注