MPEG-Diffusion提出混合分辨率视频生成,去噪提速4.8倍

一篇发布于 Hugging Face Papers 的论文摘要提出 MPEG-Diffusion,用高、低分辨率混合生成视频,只处理 30% 全分辨率 token,在 Wan2.1 14B 上把去噪提速 4.8 倍,同时声称画质接近全分辨率生成。目前公开信息仅为论文摘要,尚不代表已上线产品。

一句话看懂:一篇发布于 Hugging Face Papers 的论文摘要提出 MPEG-Diffusion,用高、低分辨率混合生成视频,只处理 30% 全分辨率 token,在 Wan2.1 14B 上把去噪提速 4.8 倍,同时声称画质接近全分辨率生成。目前公开信息仅为论文摘要,尚不代表已上线产品。

事件核心:发生了什么

视频扩散 Transformer(DiT)能生成较真实的视频,但算力开销大。混合分辨率思路是:只在视觉重要区域用高分辨率(HR),其余用低分辨率(LR),从而降低计算量。论文摘要指出,现有方法在视频上画质掉得厉害,还要求提前知道 HR 区域在哪。

作者把问题归结为三点:不同分辨率的 token 混在一起、解码前 HR 与 LR 潜变量未对齐、HR 区域需人工指定。MPEG-Diffusion 对应给出双分辨率注意力(每个 query 只读取自身分辨率的 K/V)、混合分辨率解码器(解码前融合两路潜变量以缓解失真),以及利用 DiT 自身知识自动选出视觉重要区域。摘要称,只处理 30% 全分辨率 token,在 Wan2.1 14B 上去噪加速 4.8 倍,1.3B 版本为 3.8 倍,并在多数指标上优于此前方法;用户研究中,评审在超过 90% 的成对比较里更偏好该方法,评分接近全分辨率。

为什么重要

视频生成的瓶颈主要不在模型能力,而在推理成本。若混合分辨率能在大模型上稳定工作,意味着在相近算力下可生成更长或更多的视频,直接关系到视频生成的商业化单价与部署门槛。MPEG-Diffusion 的价值在于它没有另起一套架构,而是在 DiT 内部做注意力与解码层面的改造,并试图去掉“预先知道重点区域”这一人工依赖,这更贴近实际内容创作中主体位置不断变化的场景。不过,以上结论均来自摘要所描述的实验,论文全文与第三方复现尚未公开核验。

对用户/开发者/创作者的影响

对开发者,双分辨率注意力与混合解码器的思路可作为在开源视频模型(如 Wan2.1 系列)上做推理优化的参考方向;自动选择 HR 区域若能稳定复现,可省去逐帧标注重点区域的工作。对创作者,短期内更实际的变化是生成等待时间可能缩短,而非画质跃升。对企业采购方,摘要中的加速比是在特定模型和评测设置下得出,不能直接换算为自家业务的成本下降比例,仍需看实际部署与显存占用。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与代码是否公开,双分辨率注意力在不同视频模型上的泛化表现如何;二是自动选区的稳定性,在快速运动、多主体镜头中是否仍可靠;三是是否有开源社区或云厂商把这类方法集成进视频生成 API,以及由此带来的定价与排队时间变化。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注