[Bug] DFlash2 spec decode + xgrammar: deterministic “Failed to advance FSM” on json_object grammar (same draft token every time)

问题场景

在 vLLM 中使用 DFlash2 推测解码 draft 模型，并对请求启用结构化输出语法 response_format: {"type": "json_object"} 时触发。Issue 中的复现使模型反复草拟同一段 JSON（"region": "us-east-1"），失败固定落在草稿 token 271 上；请求最终仍以 HTTP 200 返回合法 JSON，但每个失败草稿位置会重试（单请求最多观察到 7 轮），并持续刷 ERROR 级日志。同一工作负载改用 tools（function-calling 语法）时 14 个请求零 FSM 错误，问题在该 Issue 中特定于 json_object 语法形态。

等价离线复现方式为 LLM(...) 加载目标模型 + speculative_config={"method": "dflash", "model": "", "num_speculative_tokens": 7}，通过 json_object 语法调用 llm.chat。

报错原文

ERROR ... [backend_xgrammar.py:168] Failed to advance FSM for request <id> for tokens 271. Please file an issue.

原因分析

最可能的原因是：当前构建处于 #52816（DFlash2）的 PR 分支头 3406ec1da，而结构化输出的修复 #53046（main 上为 c6e19b3be243，”Avoid spurious FSM errors after speculative reasoning end”，2026-08-21 合入）在该分支之后才进入 main，因此该构建只含 DFlash2、不含该修复。缺失的修复内容为 grammar.validate_tokens(...) 守卫，即在推测解码路径上，在把草稿 token 交给 FSM 之前应当先按语法的允许 token 掩码校验，避免 FSM 收到无法接受的 token 而报 “Failed to advance FSM”。

由此推测：DFlash2 的 candidate selector 在草稿选择阶段可能没有应用语法允许 token 掩码，使得语法不允许的草稿 token 被推进到 FSM。temperature 0 下确定性复现同一 token，符合边界条件 bug 而非数据损坏。第二个反馈环境（vLLM 0.1.dev20051+g487ecf187、xgrammar 0.2.3）同样确认其安装 commit 与 c6e19b3be243 已分叉，且源码中缺少 validate_tokens 守卫，属于同类“发布镜像仍组合了 pre-fix 路径”的情况。

环境排查

• 确认 vLLM 构建来源：是否来自 #52816 的 PR 分支头（如 3406ec1da），而非 merged main。
• 确认 main 是否包含 c6e19b3be243（#53046）；可直接检查 vllm/v1/structured_output/__init__.py 中是否存在 grammar.validate_tokens(...) 守卫。
• 确认是否使用发布版：v0.28.0 分叉于 53e211d29231（2026-08-17），早于 #53046（2026-08-21），因此不包含该修复。
• 确认 xgrammar 版本（反馈环境为 0.2.3）。
• 确认推测解码配置：--speculative-config '{"method":"dflash","model":"...","num_speculative_tokens":7}'。
• 确认是否启用了 --reasoning-parser qwen3、--kv-cache-dtype fp8、--enable-prefix-caching、--enable-chunked-prefill、--async-scheduling；反映修复涉及的场景含 reasoning parser 激活时的推测解码。
• 确认硬件与并行：2× H100 80GB、TP=2、CUDA 13（其他反馈环境为 2× RTX PRO 6000 Blackwell、TP=2/DCP=2）。

解决步骤

1. 从 merged main 重建 vLLM，确保所选 commit 包含 c6e19b3be243，即 b389ac29465b 或更晚的 commit。
2. 不要使用 v0.28.0 发布版本来验证该问题是否修复，因为该版本不包含 #53046。
3. 重建后，用 Issue 中的 3/3 触发循环重跑同一 curl 或离线脚本，保持 temperature: 0、response_format: {"type": "json_object"} 与相同 prompt。
4. 同时抓取引擎日志，过滤 Failed to advance FSM，比对是否仍有 for tokens 271 等记录。
5. 若 post-fix 构建上错误仍复现，则按报告者的建议保留 Issue，并附完整请求/响应日志与 engine config dump，用于区分是否为独立 bug。
6. 如果因故无法重建，可优先尝试的临时规避是：避免在 DFlash2 推测解码下使用 json_object 语法，改用 function-calling（tools）语法；该规避仅来自同一工作负载零 FSM 错误的观察，未经维护者验证。

验证方法

在包含 c6e19b3be243 的构建上重跑 Issue 的复现 prompt，确认请求返回合法 JSON 且 finish_reason: stop 的同时，引擎日志中不再出现 Failed to advance FSM for request ... for tokens 271，也没有针对固定草稿位置的重试浪潮。若错误消失，即可判定为 #53046 已修复的症状；若错误仍在，则需按新 bug 重新排查，不能认为已解决。

参考来源

vllm-project/vllm #53777

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。