复旦开源D3D扩散草稿模型:异步投机解码最高提速7.48倍

复旦大学团队提出 D3D 扩散草稿模型,让草稿生成不再依赖目标模型隐藏状态,从而与验证环节异步并行;摘要数据显示,它在 Qwen3-32B 上最高达到 7.48 倍解码加速。对推理成本敏感的开发者值得关注。

一句话看懂:复旦大学团队提出 D3D 扩散草稿模型,让草稿生成不再依赖目标模型隐藏状态,从而与验证环节异步并行;摘要数据显示,它在 Qwen3-32B 上最高达到 7.48 倍解码加速。对推理成本敏感的开发者值得关注。

事件核心:发生了什么

据 Hugging Face Papers 收录的论文摘要(发布时间为 2026 年 11 月 4 日),复旦生成视觉团队提出 D3D——一种独立的扩散草稿模型。此前基于目标模型条件化的扩散草稿器虽然能并行预测候选 token,但每个新块都必须等待目标模型更新后的隐藏状态,导致草稿与验证只能串行执行,加速受限。

D3D 将分块去噪与辅助自回归监督结合,在不依赖目标隐藏状态的情况下获得较长的可接受前缀。草稿模型独立后,可在验证期间用一次打包前向同时生成后续块,实现异步投机解码。作者还按对接受长度的影响逐层剪枝,去掉 36 层中的 5 层,在三个基准上仍保留超过 99% 的平均接受长度。

摘要数据显示,以 Qwen3-8B 和 Qwen3-32B 为目标模型,D3D 在七个基准上平均分别获得 5.00 倍和 5.71 倍解码加速,对比方法 DFlash 为 4.03 倍和 3.67 倍;在 Qwen3-32B 上运行 GSM8K 时达到 7.48 倍。代码已在 GitHub 公开。

为什么重要

投机解码的核心瓶颈在于草稿与验证的串行等待。D3D 把草稿模型从目标模型的条件依赖中解耦,等于给推理加速打开了新的并行空间。当前公开信息显示,这一思路若在更多模型和任务上得到验证,可能降低大模型推理的单次成本,对开源模型部署和算力紧张场景尤其有意义。

对用户/开发者/创作者的影响

对开发者而言,D3D 提供了一条可复用的加速路径:草稿模型独立训练、按层剪枝控制打包推理成本,且代码开源,便于在自有模型上试验。对使用 API 的用户和内容创作者,这类提速理论上会反映在响应延迟和调用成本上,但前提是推理服务商采用类似技术。目前这些数字来自论文摘要,尚不代表已上线的产品能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是在更多目标模型和真实业务负载下的加速是否稳定;二是剪枝策略对长上下文、多轮对话等场景的影响;三是开源实现能否被主流推理框架和云服务集成,进而传导到实际价格与延迟。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33164

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注