一句话看懂:2026年10月21日发布于 Hugging Face Papers 的论文提出免训练稀疏分配方法 ALLOT,按层与去噪步联合优化块稀疏注意力的密度,并在实测延迟预算内保留原有选择策略与内核,仅在分配环节替换。
事件核心:发生了什么
视频扩散 Transformer 的完整 3D 注意力开销很高,块稀疏注意力通过只计算部分注意力块来降本。论文作者观察到,不同网络层、不同去噪步对最终视频保真度的影响差异明显,但最敏感的“层—步”组合在不同输入之间几乎不变。据此,ALLOT 把每个层—步对视为一个单元,先做单元探测、再做轨迹校准,估计各单元对最终视频误差的贡献,然后在实测延迟预算下联合优化各单元密度。摘要称,在相同或更短实际耗时下,ALLOT 配合 XAttention 优于所比较的分配策略,在 HunyuanVideo 上取得 11.8 dB PSNR 增益;在 Wan2.1、Wan2.2 和 HunyuanVideo 的四个额外已发布流水线、共九种设置中,结果不劣于默认方案。
为什么重要
视频生成的成本大头在注意力计算,块稀疏是主流降本路线之一。现有方法多依赖启发式规则或局部指标来决定稀疏度怎么分,缺少对“误差最终落到哪里”的直接衡量。ALLOT 把分配问题变成可测量的优化问题,且不要求重新训练、不改动原有内核,工程替换成本较低。这为视频扩散 Transformer 的推理加速提供了另一条可叠加的优化路径;但它目前仍是论文层面的方法,尚不能视为已发布产品。
对用户/开发者/创作者的影响
对开发者和推理部署方,ALLOT 的意义在于把稀疏分配从手工调参变成一次性标定:同一套选择策略和注意力内核可以继续使用,只需替换密度分配部分。创作者更关心最终画面质量与出片速度,摘要中的 PSNR 提升和实际耗时缩短需要在实际流水线上复现验证。目前公开信息仅来自论文摘要,未核验全文实验细节,也不代表已有可直接调用的 API 或开源实现。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是作者是否放出代码或与主流视频生成框架集成,让免训练分配真正可用;二是“最敏感层—步组合跨输入稳定”这一观察在其他视频模型上是否成立;三是同等延迟预算下,ALLOT 与端到端蒸馏、量化等加速手段叠加后能否保持收益。


