[Bug]: thinking_token_budget ignored by Model Runner V2 with Qwen3.8 NVFP4 + MTP

问题场景

用户在 aarch64 的 NVIDIA Thor 上以 vLLM 提供 Qwen3.8-27B ModelOpt NVFP4 服务，启用 Model Runner V2（服务日志确认 Using V2 Model Runner），并配置 MTP4 投机解码（num_speculative_tokens: 4）与 qwen3 推理解析器。请求中设置 thinking_token_budget: 1、enable_thinking: true、preserve_thinking: true，期望模型很快结束思考并输出正文，但实际把 max_tokens 全部消耗在推理上。

报错原文

[Bug]: thinking_token_budget ignored by Model Runner V2 with Qwen3.8 NVFP4 + MTP

finish_reason: length
completion_tokens: 32
reasoning_tokens: 32
content: null

None is token ID 248069 (`</think>`).

原因分析

可能原因：在启用投机解码时，思考预算的处理逻辑未被正确触发或未作用于目标模型 logits。Issue 讨论中提到，在 if not draft_tokens 分支下，thinking_budget.py 会把强制偏置写入温度采样前的目标 logits；因此值得检查存在 --speculative-config 时 ThinkingBudgetState.enabled（以及 needs_logits_processing）是否被设置。失败请求的第一个生成 token 已经偏离预期，而这一步尚无 draft token，这进一步说明问题可能发生在投机解码介入之前。

另一条线索是注意力后端路径：Thor 选择 FLASHINFER，并记录 Fused multi-step draft decode is not supported by attention backend(s) FLASHINFER; falling back to rebuilding attention metadata between draft steps.，即未走融合多步 draft 解码。不过复现者在其 Blackwell 环境同样走该回退路径却无法复现，因此该路径与问题是否直接相关尚不确定。

环境排查

• 确认 vLLM 版本与提交：是否为 0.28.1rc1.dev130+g44fe2a392（commit 44fe2a392），亦或可对比 nightly-6d4562c59b97b4e35d459ff9389e71b6fe4995de。
• 确认服务日志中是否出现 Using V2 Model Runner。
• 确认是否启用了 --speculative-config（MTP、num_speculative_tokens 值）。
• 确认模型的量化配置：quant_method、quant_algo。Issue 中原始环境为顶层 NVFP4，复现者的 checkpoint 为 MIXED_PRECISION 并加载为 modelopt_mixed，属于不同量化路径。
• 确认 GPU 型号与架构（Thor 为 aarch64；复现者为 RTX PRO 6000 Blackwell sm_120、x86_64）、--max-model-len、--gpu-memory-utilization。
• 确认服务日志中注意力后端的选择，以及是否出现 Fused multi-step draft decode is not supported 回退提示。
• 确认 Python 3.12.3、PyTorch 2.13.0+cu130、CUDA 13.0.88、transformers 5.16.1、flashinfer-python 0.6.18 等依赖版本，排查时注意 aarch64 与 x86_64 构建差异。

解决步骤

1. 用与失败时相同的镜像、模型和请求参数，确认问题可稳定复现（Issue 中使用 thinking_token_budget: 1、max_tokens: 32，并以 return_token_ids: true 观察生成 token）。
2. 仅删除启动命令中的 --speculative-config 并重启服务，其他参数保持不变，再次发送同一请求。这是 Issue 中已验证可让预算生效的处理方式。
3. 若需保留 MTP，则先按环境排查项收集证据：确认 ThinkingBudgetState.enabled 与 needs_logits_processing 在存在投机配置时是否被置位，并记录注意力后端选择与是否出现 fused 多步 draft 解码回退日志。
4. 可优先尝试用 method: ngram 的投机配置发送同一请求，观察是否出现相同症状，以判断问题是否与 MTP 专用路径有关（Issue 中该检查尚未完成）。
5. 可优先尝试在 --max-model-len 32768 下重放同一失败请求，以排除超长上下文配置带来的影响（原始环境为 262144）。

验证方法

发送同一最小请求后检查响应：finish_reason 应为 stop 而非 length，reasoning_tokens 很小或为 0，content 非空，且生成 token 序列以 248069（</think>）开头并跟随正文。Issue 中关闭 MTP 后的对照结果即为此表现；复现者在其 Blackwell 环境上的正常结果为 token ids [248069, 271, 17, 248046]、4 个 completion token、0 个 reasoning token、内容为 "\n\n2"。

参考来源

vllm-project/vllm #54906

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。