NEO-VLA提出无编码器视觉语言动作框架,机器人操作不再依赖固定视觉端点

Hugging Face Papers 收录的论文提出 NEO-VLA,一个去掉视觉编码器的视觉语言动作框架,让动作策略在推理过程中直接读取不同深度的视觉表征,而不是先经过固定编码器压缩再规划动作。

一句话看懂:Hugging Face Papers 收录的论文提出 NEO-VLA,一个去掉视觉编码器的视觉语言动作框架,让动作策略在推理过程中直接读取不同深度的视觉表征,而不是先经过固定编码器压缩再规划动作。

事件核心:发生了什么

据论文摘要,发布时间为 2026 年 11 月 4 日。当前主流的视觉语言动作模型(VLA)通常先由视觉编码器把图像压缩成固定表征,再进入动作推理。NEO-VLA 改变这一路径:图像由轻量 patch 卷积层切分成 token,与语言在主干网络中共同演化,一个基于 flow matching 的动作专家可以从不同深度的、受指令条件约束的视觉表征中取用信息。在受控对比中,这种“原生”结构优于基于编码器的对照模型;全量微调能缩小差距但无法消除,单纯增加规模也补不回来。逐层探测还显示,对动作最关键的信息往往在最终视觉表征之前就已达到峰值。

为什么重要

这项研究质疑的是 VLA 领域的默认前提:感知是否必须先被压缩成固定端点。论文指出,机器人操作依赖的局部几何、边界、深度和细微状态变化,恰恰最容易被这种抽象丢掉。如果结论成立,技术路线的竞争点会从“用哪个更强的视觉编码器”转向“主干如何在多层计算中保留可供动作调用的视觉信息”。对正在做具身智能和机器人操作策略的团队来说,这是一个值得对照验证的架构假设;对开源社区而言,无编码器结构也可能降低模型拼装和迁移的复杂度。目前公开信息仅为论文摘要,全文实验设置与复现细节尚未核验。

对用户/开发者/创作者的影响

普通用户短期感受不到变化,这是研究层面的架构讨论,不是已上线产品。开发者更应关注两点:一是基于编码器的现有 VLA 管线不一定需要推倒重来,论文对照组仅在特定任务和分布偏移条件下比较;二是“多层视觉表征接入动作专家”的思路,可能影响后续开源模型的设计选择。若团队在做机器人操作、多模态策略训练或推理框架优化,可以把它作为消融实验和算力分配的参考,而不是直接当成性能承诺。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

首先是论文全文和代码是否公开,受控对比的具体任务、数据规模和评测标准能否复现;其次是该方法在真实机器人平台上的推理延迟和训练成本,轻量 patch 卷积与 flow matching 动作专家的组合是否带来新的算力瓶颈;第三是有编码器的 VLA 阵营是否会跟进做多层特征接入的对比实验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33165

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注