免训练稀疏分配ALLOT:视频扩散注意力提速,HunyuanVideo PSNR提升11.8dB

2026年10月21日发布于 Hugging Face Papers 的论文提出免训练稀疏分配方法 ALLOT,按层与去噪步联合优化块稀疏注意力的密度,并在实测延迟预算内保留原有选择策略与内核,仅在分配环节替换。

一句话看懂:2026年10月21日发布于 Hugging Face Papers 的论文提出免训练稀疏分配方法 ALLOT,按层与去噪步联合优化块稀疏注意力的密度,并在实测延迟预算内保留原有选择策略与内核,仅在分配环节替换。

事件核心:发生了什么

视频扩散 Transformer 的完整 3D 注意力开销很高,块稀疏注意力通过只计算部分注意力块来降本。论文作者观察到,不同网络层、不同去噪步对最终视频保真度的影响差异明显,但最敏感的“层—步”组合在不同输入之间几乎不变。据此,ALLOT 把每个层—步对视为一个单元,先做单元探测、再做轨迹校准,估计各单元对最终视频误差的贡献,然后在实测延迟预算下联合优化各单元密度。摘要称,在相同或更短实际耗时下,ALLOT 配合 XAttention 优于所比较的分配策略,在 HunyuanVideo 上取得 11.8 dB PSNR 增益;在 Wan2.1、Wan2.2 和 HunyuanVideo 的四个额外已发布流水线、共九种设置中,结果不劣于默认方案。

为什么重要

视频生成的成本大头在注意力计算,块稀疏是主流降本路线之一。现有方法多依赖启发式规则或局部指标来决定稀疏度怎么分,缺少对“误差最终落到哪里”的直接衡量。ALLOT 把分配问题变成可测量的优化问题,且不要求重新训练、不改动原有内核,工程替换成本较低。这为视频扩散 Transformer 的推理加速提供了另一条可叠加的优化路径;但它目前仍是论文层面的方法,尚不能视为已发布产品。

对用户/开发者/创作者的影响

对开发者和推理部署方,ALLOT 的意义在于把稀疏分配从手工调参变成一次性标定:同一套选择策略和注意力内核可以继续使用,只需替换密度分配部分。创作者更关心最终画面质量与出片速度,摘要中的 PSNR 提升和实际耗时缩短需要在实际流水线上复现验证。目前公开信息仅来自论文摘要,未核验全文实验细节,也不代表已有可直接调用的 API 或开源实现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否放出代码或与主流视频生成框架集成,让免训练分配真正可用;二是“最敏感层—步组合跨输入稳定”这一观察在其他视频模型上是否成立;三是同等延迟预算下,ALLOT 与端到端蒸馏、量化等加速手段叠加后能否保持收益。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29653

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注