ViRA研究:视觉基础模型并非总能提升端到端自动驾驶,目标选择很关键

OpenDriveLab 提出规划器无关的视觉表征对齐框架 ViRA,系统研究视觉基础模型(VFM)能否真正提升端到端自动驾驶,并给出 92.3 EPDMS 的 ViRA-Diffusion 方案。它值得关注,因为自动驾驶行业正大量引入通用视觉大模型,但“表征更强是否等于开得更好”此前缺乏清晰结论。

一句话看懂:OpenDriveLab 提出规划器无关的视觉表征对齐框架 ViRA,系统研究视觉基础模型(VFM)能否真正提升端到端自动驾驶,并给出 92.3 EPDMS 的 ViRA-Diffusion 方案。它值得关注,因为自动驾驶行业正大量引入通用视觉大模型,但“表征更强是否等于开得更好”此前缺乏清晰结论。

事件核心:发生了什么

Hugging Face Papers 收录的论文摘要显示,研究团队推出 ViRA,一种与规划器解耦的视觉表征对齐框架,保持规划器结构与推理成本不变。研究得出三点发现:其一,VFM 引导的视觉表征在多种端到端规划器上稳定提升驾驶表现,收益延伸到零样本闭环评测;其二,对齐目标的选择会影响规划性能,对已有 VFM 编码器的规划器而言,对齐到另一个 VFM 可能带来额外好处;其三,引入辅助感知监督会降低对 VFM 目标选择的敏感度,五个目标之间的 EPDMS 差距从 2.7 分收窄到 0.5 分。

基于这些发现,团队开发了不依赖辅助感知监督训练的扩散规划器 ViRA-Diffusion,在 NAVSIM v2 navtest 上取得 92.3 EPDMS,比其对比中的近期方法至少高 1.9 分。结果与演示已放在 GitHub 项目页。需要说明,以上信息来自论文摘要,并非已上线产品或经同行评审的最终结论。

为什么重要

过去一两年,自动驾驶方案越来越多地把视觉基础模型当作“更好的眼睛”,默认表征越强、下游规划越准。ViRA 的价值在于把这个默认假设拆开检验:表征提升确实有效,但效果并非无条件,选错对齐目标可能抵消收益;而辅助感知监督像一种保险,能降低目标选择带来的波动。这对技术路线选择有直接含义——不是简单堆更大视觉模型,而是要把对齐目标和规划器监督方式一起设计。

对行业竞争而言,这也提示开源生态的评测维度正在细化。NAVSIM v2 这类闭环基准上的 EPDMS 分数,正在成为端到端规划器对比的常用语言,ViRA 目前公开信息显示的成绩在该设置下具备一定竞争力。

对用户/开发者/创作者的影响

对自动驾驶开发者,ViRA 提供的是一个可以复用的思路:在不改规划器架构、不增加推理成本的前提下做表征对齐,适合算力预算有限的团队验证 VFM 收益。对关注自动驾驶大模型或世界模型的创作者,这三点发现可以作为解释“视觉大模型落地难点”的具体素材,而不是泛泛谈端到端。对采购与投资判断,值得留意的是框架的规划器无关属性——它可能降低不同团队迁移 VFM 的门槛,但前提仍是目标选择与监督设计到位,目前公开信息尚不足以判断大规模量产表现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,ViRA-Diffusion 的 92.3 EPDMS 是否能在更多数据集和真实闭环路测中复现,而不只是 NAVSIM v2 navtest。第二,ViRA 作为规划器无关框架,是否会被其他开源端到端项目直接集成,形成生态扩散。第三,辅助感知监督与目标选择之间的权衡,是否会在后续版本中被简化成更少超参的默认配置。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29293

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注