[Bug]: Native MTP speculative decoding degenerates into garbage token loops on deep agentic conversations (Qwen3-MoE)

快速结论：该报错发生在 vLLM 0.23.0 使用 Qwen3-MoE 模型（如 Qwen/Qwen3.6-35B-A3B）启用原生 MTP（Multi-Token Prediction）投机解码时，深层对话场景下部分轮次会退化为输出垃圾 token 的死循环。优先排查方法：直接移除 --speculative-config 参数禁用 MTP，这是目前唯一经过验证的稳定解法。

适用环境：vLLM v0.23.0（Issue 已确认）；Qwen/Qwen3.6-35B-A3B 模型（BF16 与 FP8 均出现）；单张 B300 GPU（TP=1, DP=1）；torch.bfloat16、kv_cache_dtype=auto；MTP 投机配置为 {"method":"mtp","num_speculative_tokens":2}（深度 3 也有复现）；客户端采样参数 temperature=1.0, top_p=0.95，无 top_k、无 repetition penalty。

最快修复方案：暂无确认的一步修复方案。目前唯一验证有效的处理方式是从启动参数中移除 --speculative-config 以禁用原生 MTP 投机解码。

注意事项：虽然 Issue 提到使用 repetition penalty 或降低 temperature 可能打破死循环，但该做法未经过验证，不保证生效。GitHub PR #47861 与 #51113 曾尝试修复，但测试者反馈前一个 PR 仅在 SWE bench 上有轻微改善（垃圾输出从 11 次降至 7 次），后一个 PR 虽标记为 Resolved，但 Issue 关闭时未展示完整的回归验证结果。

问题场景

用户在使用 vLLM 0.23.0 部署 Qwen3-MoE 模型时，通过 --speculative-config '{"method":"mtp","num_speculative_tokens":2}' 启用原生 MTP 投机解码。在长上下文、多轮 deep agentic conversation（深度助手对话）场景中，部分轮次（a fraction of turns）的输出会退化为垃圾 token，并持续生成直到 max_tokens（20000）耗尽，导致该轮对话完全不可用。

报错原文

[Bug]: Native MTP speculative decoding degenerates into garbage token loops on deep agentic conversations (Qwen3-MoE)

On deep conversations, a fraction of turns collapse into a degenerate loop that runs to max_tokens and produces no usable output.

原因分析

可能原因（Issue 中未给出最终根因确认）：原生 MTP 投机解码在长上下文 agentic 对话场景中，draft 模块（MTP head）可能持续预测出与真实分布偏差较大的 token 序列，导致接受率极低，最终使采样循环卡在某个高概率但无意义的局部 token 序列上无法跳出。另一种可能是投机解码的采样逻辑在 temperature=1.0、无 repetition penalty 的宽松采样条件下，对 MTP 预测结果的纠偏能力不足，使得退化循环无法被有效打破。由于该现象仅在深层对话中复现，也可能与 KV cache 长上下文下的量化误差或投机接受逻辑的数值问题有关，但尚未有明确证据。

环境排查

确认 vLLM 版本是否为 v0.23.0（Issue 验证版本）；其他版本是否复现未确认。
确认模型是否为 Qwen3-MoE 系列（已验证 Qwen/Qwen3.6-35B-A3B，BF16 与 FP8 均触发）。
确认 GPU 环境为 B300 单卡（TP=1, DP=1），其他 GPU 是否触发未验证。
确认投机配置为 MTP 方法，num_speculative_tokens 为 2（深度 3 也有复现）。
确认采样参数为 temperature=1.0、top_p=0.95、无 repetition penalty。

解决步骤

首选（已验证）：移除启动命令中的 --speculative-config 参数，不要启用原生 MTP 投机解码，改回默认解码模式。
可优先尝试：如果仍需启用 MTP，可在客户端采样参数中加入 repetition penalty（如 repetition_penalty=1.1）或降低 temperature（如 temperature=0.8），这可能会打破退化循环，但 Issue 中明确标注该做法未经过验证，不保证生效。
可尝试升级：Issue 中提到的修复 PR #47861 在 SWE bench 上显示轻微改善（垃圾输出从 11 次降至 7 次，耗时从 5h 降至 4h），可以关注该 PR 是否已合入新版 vLLM，并尝试升级到包含该修复的版本，但由于 Issue 关闭时未提供完整回归结果，此方案可靠性未知。

验证方法

使用问题复现的最小复现集（mtp_repro_minimal.zip）或实际 deep agentic 对话测试集，确认以下两点：1) 禁用 MTP（--speculative-config 移除）后，同一输入不再出现垃圾 token 死循环，输出可用内容；2) 若尝试了 repetition penalty / 降低 temperature 的 workaround，需确认连续多轮对话中垃圾输出概率有明显下降，且输出质量与 baseline（speculative_config=None）分布一致性可接受。注意 MTP spec-decode 本应是无损加速，若输出分布与 baseline 不一致，即使不再死循环，也说明问题未根本解决。