spec: draft-dflash broken on the docs example pair (Qwen3-4B + z-lab/Qwen3-4B-DFlash-b16): acceptance ~6% instead of ~85%, greedy output div

在 llama.cpp 的 llama-server 上用 --spec-type draft-dflash 挂 DFlash 草稿模型时,出现草稿接受率异常偏低(约 6% 而非文档示例的 ~85%)、greedy 输出与不开投机解码时不一致(破坏无损性)、速度反而更慢。优先排查 prompt 类型

快速结论:在 llama.cpp 的 llama-server 上用 --spec-type draft-dflash 挂 DFlash 草稿模型时,出现草稿接受率异常偏低(约 6% 而非文档示例的 ~85%)、greedy 输出与不开投机解码时不一致(破坏无损性)、速度反而更慢。优先排查 prompt 类型、--spec-draft-n-max 取值,以及草稿模型精度是否在 sm_75 上被模拟为 bf16。

适用环境:llama.cpp llama-server version 1.0.0-dev(build 1547, commit 9214bdb5,含 DFlash 重构 #32016 与 NoPE 修复),随后复测使用 upstream b069e526;Linux x86_64(Debian 系),CUDA 13.3,GGML_CUDA=ON,CMAKE_CUDA_ARCHITECTURES=75,flash-attn 开启;显卡 NVIDIA CMP 50HX 10GB(Turing, sm_75);目标模型 Qwen3-4B-Q4_K_M.gguf,草稿模型 z-lab/Qwen3-4B-DFlash-b16 按 docs/speculative.md 转为 bf16 GGUF。

最快修复方案:暂无确认的一步修复方案。可优先尝试:降低 --spec-draft-n-max(如从 15 降到 6),并改用数学 / 代码类有明确答案的 prompt 观察接受率与速度,Issue 中该调整把接受率从约 31% 提升到 55%(代码)和约 40% 提升到 66%(数学)。

注意事项:维护者用代码类 prompt 复测未能复现性能问题,认为接受率高度依赖 prompt,因而关闭了 Issue;但提问者在补充数据中确认,在 Turing sm_75 上即使接受率提到 66%,带 DFlash 的生成速度仍低于纯自回归基线,且 greedy 无损性问题未得到修复。f16 草稿 GGUF 出现接受率骤降(0.04%)的现象与 bf16 草稿不一致,尚未定位。

问题场景

用户在 llama.cpp 中按 docs/speculative.md 的 DFlash 示例组合启动 llama-server:目标模型为 Qwen/Qwen3-4B-GGUF 的 Qwen3-4B-Q4_K_M.gguf,草稿模型为 z-lab/Qwen3-4B-DFlash-b16,通过 convert_hf_to_gguf.py --outtype bf16 转换,并以 -md/--spec-type draft-dflash 加载。可正常启动并打印 DFlash 配置日志,但运行温度 0 的 greedy 请求时,出现三种异常:草稿接受率仅约 6%(190 accepted / 3056 generated,mean len 1.91),生成速度 11.7 t/s 远低于不开投机解码的 54.8 t/s,且 greedy 输出文本与不开 spec 时不同,违反投机解码应保持目标分布的无损性。

报错原文

spec: draft-dflash broken on the docs example pair (Qwen3-4B + z-lab/Qwen3-4B-DFlash-b16): acceptance ~6% instead of ~85%, greedy output divergence, ~5x slower

common_speculative_impl_draft_dflash: - n_max=15, n_min=0, p_min=0.00
common_speculative_impl_draft_dflash: - block_size=16, mask_token_id=151669, n_extract=5
init: DFlash target features via device buffer

slot print_timing: draft acceptance = 0.06217 ( 190 accepted / 3056 generated), mean len = 1.91
gen 11.7 t/s with spec vs 54.8 t/s without (same binary)

原因分析

该现象可能由多个因素叠加导致:

  • 接受率高度依赖 prompt 与采样配置:维护者用代码类 prompt、关闭 thinking 后复测未能复现问题,得到接受率 0.35833(mean len 3.87)且速度明显提升;提问者的补充数据也显示英文代码/数学 prompt 接受率约 31%–40%,而俄语摘要/散文 prompt 仅 5%–9%。开放性问题天然接受率低,--spec-draft-n-max 过大也可能拖低有效接受表现。
  • Turing(sm_75)无原生 bf16:整条 DFlash 草稿路径(特征注入 fc、注意力、151936 词表的共享 lm_head)在 Turing 上以 bf16 模拟运行,草稿开销抵消了收益,即使接受率较高,生成速度仍可能低于纯自回归基线。这个问题与具体 checkpoint 无关。
  • 目标模型类型也受影响:提问者报告 dense(Qwen3-4B)与 qwen35 hybrid(Qwen3.5-4B、Qwen3.5-9B)目标上均出现接受率偏低与 greedy 输出不一致;qwen35moe 接受率正常(71%–92%)但仍破坏 temp-0 输出一致性,提示 draft-dflash 实现中至少存在两个独立问题:草稿质量/特征路径问题与输出一致性破坏问题。
  • f16 草稿数值异常:同一 checkpoint 转 f16 GGUF 后接受率仅 0.04%(1 accepted / 2367 drafted),原因尚不明确,可能与草稿图在该路径上的溢出或数值退化有关。

环境排查

  • 确认 llama.cpp 构建版本与 commit(提问者使用 build 1547 / 9214bdb5,补充复测使用 b069e526),以及是否包含 DFlash 重构 #32016 和 NoPE 修复;问题在重构前后版本均可复现,非 #32016 引入的回归。
  • 确认 CUDA 版本、GGML_CUDA=ON、CMAKE_CUDA_ARCHITECTURES 是否与实际显卡架构匹配(本例为 75)。
  • 确认显卡架构:sm_75(如 CMP 50HX、Turing 系列)没有原生 bf16,草稿路径会走模拟,需单独评估性能预期。
  • 确认目标模型与草稿模型是否与 docs/speculative.md 示例一致,草稿转换命令与 --outtype bf16 是否与文档一致。
  • 确认启动参数中 --spec-draft-n-max、-fa on、--jinja、-ngl/-ngld 等设置,并分别用开启/关闭 spec 的同一 binary 对比。
  • 提问者已排除:目标 KV 量化(q8_0/f16 均复现)、草稿量化(bf16 与文档一致)、转换器 dflash.target_layers 元数据约定(与参考实现及 common/speculative.cpp 语义一致)。

解决步骤

  1. 先固定复现条件:同一 binary、同一 prompt、temperature: 0、enable_thinking: false,分别在不带 -md/--spec-type 与带 --spec-type draft-dflash 的情况下各跑一次,记录 draft acceptance、mean len 与 eval 速度。
  2. 把 --spec-draft-n-max 从 15 降低(Issue 中降到 6),在同一 prompt 上重新测量接受率与生成速度;该调整在代码和数学 prompt 上把接受率提升到约 55% 和 66%。
  3. 换用有确定答案的 prompt 类型(代码、数学)与开放性问题(摘要、散文)分别测试,确认接受率差异是否来自 prompt,而非实现崩溃。
  4. 在 sm_75 上分别用 bf16 与 Q8_0 草稿 GGUF 测试,对比接受率与速度;Issue 中 Q8_0(int8 MMQ,Turing 原生)保持接受率不变(53.8%/66.0%),但速度提升有限(34.3/40.2 t/s)。
  5. 若对比测试中发现 greedy 输出仍与不开 spec 时不同,则说明无损性问题未被上述调参解决,应保留完整启动参数、模型与 prompt 复现材料,向 llama.cpp 提交新 Issue 或在原 Issue 下补充数据。

验证方法

以同一 binary 在温度 0、相同 prompt 下对比开启与关闭 --spec-type draft-dflash 的输出文本,二者应完全一致;同时查看 slot print_timing 中的 draft acceptance 与 mean len,以及 eval 时间/生成速度。在 sm_75 + bf16 草稿的组合下,即使接受率提高,速度也可能仍低于纯自回归基线,因此判断“问题是否解决”应以无损输出一致性为前提,再单独评估性能是否满足预期。

参考来源

ggml-org/llama.cpp #32526

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注