DFlash 2：保持并行草拟

事件核心：发生了什么

Inco AI 于 2026 年 8 月发布 DFlash 2，这是其 2026 年 1 月推出的 DFlash 投机解码方案的升级版。DFlash 本身已运行于 SGLang、vLLM、TensorRT-LLM 和 llama.cpp 中，并被 NVIDIA、Google、CoreWeave 等厂商采用。DFlash 2 的核心改进是：在保持单次前向传播、并行预测整块 token 的设计前提下，通过优化候选 token 的选择策略，使每次验证能多产出 20% 以上的 token，同时仅增加约 1% 的循环延迟。

官方数据显示，在 Qwen3.8-27B 模型上，DFlash 2 在 batch size 为 1 时，吞吐量达到自回归解码的 2.7–3.4 倍。目前 DFlash 2 已可在 SGLang、vLLM、llama.cpp 和 oMLX 中直接运行。配套的 Qwen3.8-27B 草稿模型已发布，Hugging Face 上 DFlash 系列模型累计下载量已超过 350 万次。

为什么重要

投机解码（Speculative Decoding）是当前大模型推理优化的关键手段：小型草稿模型先猜测一段 token，目标模型再一次性验证整段。DFlash 2 的意义在于解决了此前草稿生成仍是逐 token 自回归的瓶颈，将整个草稿生成过程也变为并行。相比 Domino、DSpark 等方法用顺序解码头来保证连贯性，DFlash 2 直接利用原有候选列表中的信息做更聪明的选择，避免了额外的自回归修正开销。

这是一个推理效率的提升，直接响应当前 AI Agent 时代的高 token 消耗问题——Agent 应用长时间运行、频繁调用工具，token 吞吐量成为成本与延迟的关键。DFlash 2 不依赖专用硬件（已经在 Blackwell GPU、TPU 上获得验证），且已被 SGLang 等主流框架原生支持，这意味着它可能成为推理栈的默认配置之一，而非实验性功能。Meta、Poolside、小米、NVIDIA 等厂商已随自家模型发布官方 DFlash 草稿模型，显示出生态正在向该技术路线靠拢。

对用户/开发者/创作者的影响

对于使用自托管大模型或运行推理服务的开发者，DFlash 2 提供了一个直接可用的性能提升选项：只需更换草稿模型或在启动参数中启用 DFLASH 算法，即可在现有硬件上获得更高的 token 吞吐，无需修改业务代码。对于依赖大模型 API 构建应用的团队，如果其服务商采用支持 DFlash 2 的推理栈，单次请求的响应速度和并发处理能力可能得到改善，进而影响成本核算与用户体验。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

对于运行本地模型的用户（例如通过 llama.cpp 或 oMLX 在桌面设备上运行 Qwen 系列模型），DFlash 2 也能带来更快的生成速度，特别是在 Apple Silicon 设备上，oMLX 已提供预编译支持。对于 AI 应用开发者而言，更快的推理意味着更高的每秒请求数（RPS），这是直接的成本变量。

值得关注的后续

第一，DFlash 2 的官方草稿模型目前主要支持 Qwen 系列，未来是否会扩展到 Llama、Mistral 等主流开源模型，以及各大模型厂商是否会像推 DFlash 1 那样随新模型发布内置草稿器，是判断其生态覆盖面的关键指标。

第二，vLLM 和 SGLang 对 DFlash 2 的支持目前处于 PR 或分支状态，正式合并进稳定版本的时间表，以及在多 GPU、高并发场景下的实际表现，还有待社区大规模验证。

第三，DFlash 2 宣称“输出可证明不变”，但该结论针对的是特定模型和任务。在长文本生成、代码生成等不同任务类型上，实际收益是否与基准数据一致，需要更多第三方评测来确认。

来源：Hacker News (黑客新闻)