DCOCO 提升投机解码吞吐,并发下比基线最高快 6.6 倍

一篇新论文提出 DCOCO,用轻量级上下文校正器弥补扩散草稿模型并行生成时缺失的块内依赖,在摘要所述实验中把投机解码吞吐提升到基线最高 6.6 倍,并改善并发服务表现。

一句话看懂:一篇新论文提出 DCOCO,用轻量级上下文校正器弥补扩散草稿模型并行生成时缺失的块内依赖,在摘要所述实验中把投机解码吞吐提升到基线最高 6.6 倍,并改善并发服务表现。

事件核心:发生了什么

2026 年 10 月 8 日,Hugging Face Papers 收录了一篇关于投机解码的论文,题为“Contextual Correction of Parallel Drafts for Speculative Decoding”。论文摘要指出,当前基于扩散的草稿模型虽然能并行预测多个未来 token,但同一草稿块内的 token 无法看到前面已实现 token 的真实身份,导致自回归生成中天然存在的块内依赖被抹掉。作者提出 DCOCO(DFlash Contextual Corrector),不直接采用每个位置的 top 预测,而是保留多个候选 token,并并行评估相邻草稿位置之间的上下文兼容性,从而以较低额外成本完成更合理的 token 选择。

根据摘要,DCOCO 在四类验证器主干和十个基准上进行了测试,覆盖贪心解码与随机解码、是否开启扩展推理等配置。结果显示,它在每个评测配置中都取得最高平均吞吐,相较原始解码最高加速 6.6 倍;在 4 到 32 个并发请求下,DCOCO 比最强竞争方法高出 6% 至 23%,而其他顺序校正器在这些负载下甚至低于未校正的 DFlash。以上均为论文摘要陈述,尚未核验全文实验与同行评审状态。

为什么重要

投机解码是降低大模型推理成本的重要路线,核心挑战在于草稿模型的接受率。扩散式草稿器解决了顺序生成开销,却引入了块内上下文缺失,恰好是影响接受率的关键。DCOCO 的价值在于不改动并行草稿的基本框架,而是用一个轻量校正机制补回依赖,等于把“并行速度”和“自回归准确性”之间的取舍重新拉平。如果后续复现成立,这可能让投机解码在高并发服务场景下更具实用价值,也对推理框架和草稿模型设计方向产生影响。

对用户/开发者/创作者的影响

对开发者和推理基础设施团队而言,DCOCO 目前是一篇论文方法,不是可直接调用的 API 或产品。它提示了一个优化思路:在部署投机解码时,可以通过并行上下文评分来筛选草稿候选,而不是只取每位置最高概率 token。对于依赖大模型 API 或自建推理服务的团队,这类方法若被主流推理框架吸收,可能带来更高吞吐和更低单位算力成本;对内容创作者来说,影响是间接的,主要体现为模型响应速度和调用价格可能改善,而不是生成能力本身发生变化。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,DCOCO 是否会被 vLLM、TensorRT-LLM 等推理框架或 DFlash 相关开源项目集成,决定它能多快从论文走向工程。第二,需要关注独立复现结果,尤其是不同模型规模、长上下文和真实并发负载下是否保持同等增速。第三,如果顺序校正器在高并发下表现不佳,行业可能更倾向于并行校正方案,这会进一步影响草稿模型和验证器的协同设计。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 28940

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注