冻结DINOv2+Laya单次前向32.85ms,闭环驾驶50图完成47次

alphaXiv 上的一项工作把冻结的 DINOv2 与冻结的 Laya 用 4.23M 参数适配器连接,绕开自回归 VLA 每帧超 300 ms 的耗时,在模拟器中做到单次前向加控制 32.85 ms。它更像一条可复现的工程路线,而不是已经上车的产品。

一句话看懂:alphaXiv 上的一项工作把冻结的 DINOv2 与冻结的 Laya 用 4.23M 参数适配器连接,绕开自回归 VLA 每帧超 300 ms 的耗时,在模拟器中做到单次前向加控制 32.85 ms。它更像一条可复现的工程路线,而不是已经上车的产品。

事件核心:发生了什么

论文于 2026 年 10 月 25 日发布。作者没有重新训练视觉主干和决策模型:DINOv2-base(86.58M)负责图像 patch 特征,经 4×9 空间池化压成 36 个 token;一个 4.23M 参数的适配器把这些 token 送进非自回归的 Laya(395.21M)。Laya 单次双向编码即输出机动、速度等级、AEB 概率和 6 个未来航点,不再逐 token 生成。

感知与决策之外,系统接了 HD 地图安全盾、五次曲线路径混合和 PID 跟踪器。在 Ryzen 5 7500F / RTX 4070 Ti、FP32、B=1 条件下,一次同步前向为 32.85 ms,加 CARLA 仿真 IPC 后约 39.25 ms。注意这是仿真中的单次计时,不是与“>300 ms VLA”的配对基准。

为什么重要

20 Hz 控制每 50 ms 就要出新指令,而自回归 VLA 的串行解码天然卡在延迟上。该工作展示了一条替代思路:大模型负责语义与决策,小适配器对齐特征,传统控制器兜底安全与轨迹平滑,从而把延迟压进预算。对做具身智能和自动驾驶的团队来说,这比单纯堆模型规模更具工程参考价值。

对用户/开发者/创作者的影响

目前公开信息显示,代码与模型可用性未在摘要中说明。对开发者,冻结骨干加轻量适配器的范式降低了训练算力门槛,但 6-WP 头只做曲率平滑,不负责绕障,路径改道依赖机动决策和 HD 地图。对硬件侧,RTX 4070 Ti 级消费卡即可跑通,显示推理成本可控。对普通用户,这仍是模拟器研究,不能理解为量产自动驾驶能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否开源适配器与评测脚本;二是能否在真实车辆或更高频控制下复现同等延迟;三是与端到端 VLA 方案在遮挡、恶劣天气等场景的对比是否补齐。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29876

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注