DiffusionGemma Technical Report

Google 的 DiffusionGemma 技术报告发布,展示了一种不逐字生成、而是并行细化 256 个 token 的离散扩散语言模型。它基于 Gemma 4 微调而来,推理速度可达单张 H100 上每秒约 1500 token,显著快于传统自回归模型。

一句话看懂:Google 的 DiffusionGemma 技术报告发布,展示了一种不逐字生成、而是并行细化 256 个 token 的离散扩散语言模型。它基于 Gemma 4 微调而来,推理速度可达单张 H100 上每秒约 1500 token,显著快于传统自回归模型。

事件核心:发生了什么

Google 的 DiffusionGemma 团队于 2026 年 7 月 31 日提交了技术报告,公布了这款实验性开放权重语言模型的完整细节。DiffusionGemma 并非从零训练,而是基于混合专家模型 Gemma 4 微调而来,该模型总参数量 25.2B,激活参数量 3.8B。其核心改变在于生成方式:它不再像传统自回归大模型那样逐个预测 token,而是通过离散扩散过程,每次并行细化 256 个 token 的块,从而绕开了自回归解码的串行瓶颈。

训练方面,团队采用了两阶段、高计算效率的管线,据报告称使用了不到原始自回归模型总训练 token 预算的 10%。第一阶段用监督微调教模型学会双向去噪,第二阶段则结合强化学习与采样器蒸馏,同时优化生成质量和推理效率。最终,DiffusionGemma 在完整评估集上平均每次前向传播生成约 20 个 token,在单张 NVIDIA H100 GPU 上实现了每秒约 1500 个输出 token 的速度,报告称即便对比采用最先进投机解码的自回归模型,这一速度也显著更快。

为什么重要

这份报告最值得关注的点在于,它首次以开放权重形式展示了扩散模型在大语言模型领域的实用性,而不只是图像生成领域的工具。传统上,自回归解码是 LLM 推理延迟的主要瓶颈,而 DiffusionGemma 用并行细化证明了另一种技术路线的可行性,并且在速度与能力之间建立了一条新的帕累托前沿。这意味着未来的大模型推理不一定非要依赖更快的硬件或更复杂的投机解码算法,生成范式本身的改变可能带来数量级的吞吐量提升。

另一个关键信息是:体验过扩散微调后,模型仍然保留了对思考模式、多模态输入和长上下文支持,并且依然能执行自回归生成,仅有轻微性能损失。这为混合扩散-自回归解码的落地提供了一条现实路径,很可能成为下一代推理架构的重要探索方向。

对用户/开发者/创作者的影响

对普通用户而言,最直接的变化可能体现在响应速度上。如果 DiffusionGemma 后续开放 API 或通过 Google AI Studio 等渠道提供试用,对话式 AI 的感知延迟会明显下降,长文本生成场景(如摘要、写作辅助)也会变得更加流畅。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对开发者来说,这是一个值得跟进的开源权重模型。它意味着可以在不依赖高端算力集群的情况下,尝试部署速度更快的本地大模型推理服务。对于依赖高吞吐量的应用场景——比如批量内容审核、日志分析、大规模文本分类——每秒 1500 token 的吞吐能力可能直接改变成本结构。

对创作者而言,当前值得关注的是扩散生成带来的文本风格差异。扩散模型生成的长文在局部连贯性和全局结构上与自回归模型不完全相同,在创意写作、长文档生成等任务上可能需要重新评估输出质量。但报告提到其保留了思考模式,这意味着复杂推理任务的能力并未因为扩散化而明显缩水。

值得关注的后续

目前公开信息显示,DiffusionGemma 仍然是实验性模型,尚未提供可公开访问的 API 或权重下载入口。接下来值得关注的具体观察点有三个:第一,模型权重和推理代码何时向开发者开放,以及是否会同步推出 Hugging Face 上的可直接调用版本;第二,实际部署成本是否与报告中的 H100 数据一致,尤其是在消费级显卡(如 RTX 4090)上的表现;第三,自回归模型厂商是否会回应这一速度优势,例如通过更激进的投机解码优化或转向类似的并行解码研究路线。若 DiffusionGemma 的混合解码路径被验证稳定,它可能会成为未来开源大模型默认的推理范式之一。

来源:Hacker News (黑客新闻)

celebrityanime
celebrityanime
文章: 19320

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注