LOWN新方法:扩散视觉语言模型按需处理图像,解码算力降至35.3%

论文提出 LOWN,在扩散视觉语言模型(DVLM)的每一步解码中判断是否需要重新处理图像,在十项基准上保留 LLaDA-V 99.6% 的分数,平均只消耗 35.3% 的解码 FLOPs。

一句话看懂:论文提出 LOWN,在扩散视觉语言模型(DVLM)的每一步解码中判断是否需要重新处理图像,在十项基准上保留 LLaDA-V 99.6% 的分数,平均只消耗 35.3% 的解码 FLOPs。

事件核心:发生了什么

2026 年 10 月 27 日,Hugging Face Papers 收录论文《Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs》。作者观察到,在研究的基准中视觉 token 占输入的 89%–97%,而扩散模型每个去噪步骤都会整份重算输入,导致大量算力被反复用于处理同一张图。逐步骤对比 LLaDA-V 有图与无图的预测后发现:去掉图像后,仅平均 22.8% 的步骤会改变某个 token 的 unmask 结果,最低只有 7.9%。

LOWN 的做法是:先用无图预测试探,若与上一次有图预测一致,就认定先前的判断可以复用,并依据“认证”通过的 token 数决定本步 unmask 数量;只有出现分歧时才再处理图像。整个方法无需训练,也不需要调阈值。

为什么重要

扩散式大模型的一大成本瓶颈在于重复计算,视觉输入占比又极高。LOWN 的思路是把“图像是否需要参与”变成逐步决策问题,而不是依赖固定的剪枝节奏。目前公开信息显示,它还能与视觉 token 剪枝正交组合,并在 key-value 缓存下运行。如果后续工作验证可迁移到更大模型,这类路由式解码可能成为降低多模态推理成本的一条低成本路径。

对用户/开发者/创作者的影响

对开发者而言,这意味着在不重训模型、不改架构的前提下压缩解码算力有现实空间;对调用多模态 API 的应用方,推理成本与延迟若随之下降,图像理解类产品的单位经济模型会更好算。创作者侧短期感知有限,但更便宜的多模态推理有助于图像理解与生成类工具降低订阅门槛。需注意,以上收益基于论文摘要所描述的基准条件,尚未核验全文实验。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是代码与项目页是否放出可复现的基准配置,尤其是不同分辨率与批量下的实际加速比;二是该方法在 LLaDA 系列之外的 DVLM 上是否同样成立;三是是否会与开源推理框架集成,形成对闭源多模态 API 的成本压力。目前尚无论文已同行评审或产品化落地的信息。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 31194

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注