SpecKCast 用频域卡尔曼滤波加速扩散模型,最高 6 倍速且显存增耗低于 0.05 GiB

Hugging Face Papers 收录的论文 SpecKCast 提出一种免训练扩散加速方法,在频域用卡尔曼滤波预测模型输出,并按不确定性决定是否真的跑 Transformer,在多个图像和视频生成模型上最高实现 6 倍加速且额外显存不超过 0.05 GiB。

一句话看懂:Hugging Face Papers 收录的论文 SpecKCast 提出一种免训练扩散加速方法,在频域用卡尔曼滤波预测模型输出,并按不确定性决定是否真的跑 Transformer,在多个图像和视频生成模型上最高实现 6 倍加速且额外显存不超过 0.05 GiB。

事件核心:发生了什么

2026 年 10 月 19 日,Hugging Face Papers 出现一篇论文 SpecKCast,作者提出“谱域卡尔曼预测”方案,用于 Diffusion Transformers(DiTs)的推理加速。扩散模型要反复调用 Transformer 做去噪,步数多、成本高。现有特征缓存和预测方法直接复用或外推特征,但统一对待空间频率分量,也忽略去噪过程本身的不均匀性,跳步一多误差就放大。SpecKCast 改为对模型输出做 2D DCT,每个频率系数配一个轻量卡尔曼滤波,沿按噪声调度构造的频带专属时间坐标追踪系数取值与变化率;只有当预测不确定性超过阈值时,才真正执行 Transformer 计算。摘要称在 FLUX.1-dev、Qwen-Image、Wan2.1-14B 和 HunyuanVideo 上,其加速与保真度的权衡优于现有缓存和预测方法,最高 6 倍加速,额外内存不到 0.05 GiB。目前公开信息仅限论文摘要,全文实验细节尚未核验。

为什么重要

扩散模型的推理成本是图像、视频生成走向规模化应用的主要瓶颈之一。SpecKCast 属于免训练加速路线,不改模型权重、不重新训练,对开源模型生态更友好,部署门槛也低。它把“何时跳过计算”从固定间隔改成基于滤波不确定性的自适应判断,这一思路对 DiT 架构的通用性值得关注。若后续全文复现顺利,可能影响扩散推理优化的技术路线选择,也为算力紧张场景提供更细粒度的加速工具。

对用户/开发者/创作者的影响

对开发者,免训练意味着可以直接接入现有推理管线,不必为加速再训一个模型;频域加卡尔曼滤波的实现复杂度高于简单缓存,但额外显存低于 0.05 GiB,适合在消费级显卡上尝试。对用 FLUX.1-dev、Qwen-Image 做图像生成,或用 Wan2.1-14B、HunyuanVideo 做视频生成的创作者,6 倍加速如果能保持接近原模型的画质,批量出图和短视频试错的时间成本会明显下降。不过目前只是论文摘要,尚无开源代码或产品化接口,实际效果需等复现和社区评测。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否开源代码,以及在社区硬件上的真实加速比和画质损失;二是同类缓存/预测加速方案(如 TeaCache 等)是否跟进频域加不确定性的思路;三是该方法能否被 ComfyUI 等主流创作工具或推理框架集成,从而影响普通创作者的使用门槛。以上均以目前公开信息为限,需等待论文全文和独立复现。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29595

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注