LightVAE 让视频 VAE 解码最高提速 2.97 倍,代码已开源

LightVAE 提出一套针对视频 VAE 的压缩与加速框架,在 Wan、MiniMax-H3 等骨干上把解码吞吐最高提升至原来的 2.97 倍,并保持接近原始模型的生成质量。对视频生成应用而言,这意味着推理端最重的环节之一可能不再是瓶颈。

一句话看懂:LightVAE 提出一套针对视频 VAE 的压缩与加速框架,在 Wan、MiniMax-H3 等骨干上把解码吞吐最高提升至原来的 2.97 倍,并保持接近原始模型的生成质量。对视频生成应用而言,这意味着推理端最重的环节之一可能不再是瓶颈。

事件核心:发生了什么

根据 Hugging Face Papers 收录的论文摘要,LightVAE 于 2026 年 10 月公开,核心思路是压缩视频 VAE 在时间维度和网络深度上的冗余。它把符合条件的因果 Conv3D 层精确重参数化为“聚合空间响应”加“差分驱动的时间修正”,并基于两者不同的压缩敏感度,只对时间修正做低秩近似,空间核则保持稠密。配套的代数等价折叠实现把理论上的算术节省转换为实际加速。

此外,LightVAE 使用宽度保持的块剪枝来减少网络深度,并借助冻结教师后缀的反馈做探针引导特征对齐,以在压缩后恢复质量。摘要称,该框架也可扩展到视频编码器。在 Wan VAE 系列上,它在 NVIDIA H100 和 RTX 5090 上分别达到当前高效 VAE 解码器最高约 2.24 倍和 1.11 倍的解码吞吐,同时 DAVIS PSNR 更高、LPIPS 更低;在 MiniMax-H3 上解码吞吐最高提升到原来的 2.97 倍,并保留原始模型 VBench-2.0 总分的 99.51%。代码已在 GitHub 开源。

为什么重要

视频 VAE 的编解码长期是潜在扩散模型生成视频时的算力开销大头。此前的加速方法往往联合约束空间和时间计算,或直接删掉时间计算,没有区分不同层在压缩上的敏感度。LightVAE 的价值在于把“时间建模冗余”和“深度冗余”分开处理:时间修正可低秩压缩,空间响应保持完整,从而在不破坏重建质量的前提下降低计算量。

对行业而言,这类工作直接影响视频生成推理的性价比。当解码速度提升接近 3 倍,同等 GPU 资源下可服务的生成请求数会明显增加,云端 API 的延迟和成本结构也可能随之变化。开源实现则让更多开发者和团队能直接验证并集成到现有推理管线中。

对用户/开发者/创作者的影响

对使用视频生成工具的创作者来说,最直接的感受是等待时间可能更短,尤其在批量生成或高分辨率场景下。对开发者而言,开源代码意味着可以在自有模型或第三方视频 VAE 骨干上测试压缩后的解码速度与画质折损,再决定是否接入生产环境。对企业采购和算力规划来说,如果后续工程实现稳定,视频推理的 GPU 需求有望下降,单位生成成本可能降低,但具体收益仍取决于模型结构、输入分辨率和部署平台。目前公开信息基于论文摘要,尚未核验完整实验与线上产品表现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是是否会出现可复现的第三方基准,验证不同视频 VAE 和 GPU 平台上的实际吞吐与画质;二是开源仓库是否继续更新,适配更多骨干模型和推理框架;三是视频生成服务商是否在 API 或产品中采用类似压缩方案,从而带来价格或生成速度上的变化。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29133

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注