FlashMap 用连续流图做投机解码,Qwen3-8B 上实现 6.14 倍无损加速

Polymathic AI、普林斯顿大学等机构发布 FlashMap,用连续流图替代离散扩散草稿器,在单次前向中生成 16 个 token 的草稿块。Qwen3-8B 在 GSM8K 上最高实现 6.14 倍无损加速,草稿权重和 vLLM、SGLang 插件已开源。

一句话看懂:Polymathic AI、普林斯顿大学等机构发布 FlashMap,用连续流图替代离散扩散草稿器,在单次前向中生成 16 个 token 的草稿块。Qwen3-8B 在 GSM8K 上最高实现 6.14 倍无损加速,草稿权重和 vLLM、SGLang 插件已开源。

事件核心:发生了什么

2026 年 10 月 28 日,来自 Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究团队发布 FlashMap——一种投机解码草稿器。与 DFlash 采用的块扩散不同,FlashMap 基于 Flow Map Language Models,将高斯噪声一步映射为完整 token 块,块内 token 通过联合采样保持相互一致。草稿器为 0.5B 参数(Qwen3-8B 版 500M,Qwen3-4B 版 475M),读取目标模型第 1、9、17、25、33 层隐藏状态,词嵌入和 LM head 从目标模型复制并冻结。训练分两阶段,使用 Open-PerfectBlend 的 50 万样本,总计算约 4600 GPU 小时(H200)。

为什么重要

投机解码的加速取决于两点:草稿被接受的比例和草稿成本。EAGLE-3 自回归草稿成本随块长增加;DFlash 虽一次生成整块,但各槽位独立预测,容易出现“new diego”这类跨槽位不一致的组合,被目标模型拒绝。FlashMap 的联合建模直接针对这个痛点,在同等或更小参数下提升接受长度。研究团队用相同数据和设置重训 EAGLE-3 和 DFlash 对比:Qwen3-8B 上,单步 FlashMap 在 9 个基准、两个温度下均为最快草稿器;2 步模式下接受长度在 18 个设置中全部超过 DFlash,平均高 10%。这说明草稿器设计仍有明显优化空间,对开源模型推理效率有直接意义。

对用户/开发者/创作者的影响

目前公开信息显示,FlashMap 在 Qwen3-8B 上温度 0 的 GSM8K 任务实现 6.14 倍加速(接受长度 7.69 token),平均加速 4.36 倍;温度 1 的 Alpaca 任务最差为 2.28 倍。Qwen3-4B 温度 0 下,9 项任务中有 4 项落后 DFlash。草稿器权重以 Apache-2.0 在 Hugging Face 发布,并提供 vLLM 和 SGLang 插件,意味着使用这两个推理框架的开发者可以较低成本接入测试,前提是在支持的目标模型上。对聊天、数学和代码类应用,接受长度提升可能转化为更低的每 token 延迟;但实际部署仍需验证不同并发和量化场景。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 vLLM/SGLang 插件在真实服务并发下的表现是否接近论文单卡单请求的测试条件;二是 4B 级模型上的短板是否会在后续版本中改善;三是 EAGLE-3 之外的其他草稿器方案(如 DSpark)是否会跟进联合建模路线。此外,论文结果尚未经过独立复现,权重能否在更多 Qwen3 变体和量化版本上稳定工作值得观察。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 30676

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注