[Bug]: Qwen4Exp N-gram PLE embedding requires pipeline_parallel_size=1 because non-first pipeline ranks do not receive the raw input_ids it

快速结论：当使用 vLLM 加载 Qwen4Exp 系列模型并开启流水线并行（pipeline parallel，PP）时，vLLM 会直接拒绝启动并抛出该 NotImplementedError。优先排查模型配置中的 ple_layer_ids 是否落在第一个流水线阶段之外，以及当前版本是否已合入条件化检查补丁。

适用环境：Issue 报告的原始环境为 Ubuntu 24.04.2 LTS（x86_64）、Python 3.12.3、PyTorch 2.13.0+cu129、CUDA 12.9.86、NVIDIA 驱动 550.163.01、3× NVIDIA A100-SXM4-80GB。评论中提到的复现硬件为 Intel Arc Pro B70 ×2 + vLLM-XPU（upstream CI 不覆盖）。

最快修复方案：暂无确认的一步修复方案。Issue 讨论提出的方向是将“PP 必须为 1”的硬性断言改为条件判断：仅当 ple_layer_ids 中有任何一层落在非第一个流水线阶段时才报错，其余情况允许 --pipeline-parallel-size > 1。该补丁尚未确认合入，可优先尝试按此思路判断你的配置是否安全。

注意事项：评论者明确声明自己只在 Intel XPU 路径上验证过 pp_size=2，未验证 CUDA 与 ROCm；且只掌握 Flash-Next 的配置，不能保证所有 Qwen4Exp 布局都安全。若 PLE 层确实落在后续 rank，报错行为不变。涉及改动点包括 config.py 与 models/qwen4_exp/{nvidia,amd}/model_state.py，其中 config.py 中的检查最先触发，必须先改它。

问题场景

用户在使用 vLLM 加载 Qwen4Exp 模型（如 Qwen3.8-Flash-Next）时，为了把模型放入显存而开启流水线并行，例如 --pipeline-parallel-size 2 或 --pipeline-parallel-size 3。启动阶段（读取权重之前）vLLM 就会因 PLE（N-gram PLE embedding）层的限制直接报错退出。评论者指出，对于 num_hidden_layers = 48、ple_layer_ids = [2] 的配置，在 pp_size = 2 下 rank 0 持有第 0–23 层，唯一需要原始 input_ids 的第 2 层正好在第一个 rank 上，本不应触发该限制；pp_size = 3 时 rank 0 持有第 0–15 层，第 2 层同样在第一个 rank 上。也就是说，报错守卫比它要保护的约束更严格。

报错原文

NotImplementedError: Qwen4Exp N-gram PLE embedding requires pipeline_parallel_size=1
because non-first pipeline ranks do not receive the raw input_ids it needs.
Please run with PP=1

原因分析

最可能的原因是：vLLM 对 Qwen4Exp 的 PLE 层做了一刀切的限制，只要 pipeline_parallel_size > 1 就直接抛错，而不是判断真正需要原始 input_ids 的 PLE 层是否落在非第一个流水线阶段。评论指出，这个前提在三个位置重复断言，且触发顺序不同：

model_executor/models/config.py:879 — NotImplementedError，最先触发（在读取权重之前）
models/qwen4_exp/nvidia/model_state.py:35 — RuntimeError
models/qwen4_exp/amd/model_state.py:35 — 与 nvidia 版本相同

因此只修模型侧检查仍会被 config.py 拦截。评论同时提醒，判断层归属不应自己用 num_layers // pp_size 计算，因为环境变量 VLLM_PP_LAYER_PARTITION 可以任意覆盖切分（只校验长度与总和），例如 VLLM_PP_LAYER_PARTITION="1,47" 会把第 2 层放到 rank 1，此时仍应报错。

环境排查

确认 vLLM 版本，判断是否已包含条件化检查的修复（Issue 关闭于 2026-10-15）。
确认 Python 版本（报告为 3.12.3）与 PyTorch 版本（报告为 2.13.0+cu129）。
确认 CUDA runtime（报告为 12.9.86）与 NVIDIA 驱动（报告为 550.163.01）；若为 XPU/ROCm，注意评论者仅在 XPU 上验证过。
确认 GPU 型号与数量（报告为 3× A100-SXM4-80GB），以及启动命令中 --pipeline-parallel-size 的取值。
确认模型 config 中的 num_hidden_layers 与 ple_layer_ids。
确认是否设置了 VLLM_PP_LAYER_PARTITION，若设置需按它计算实际层归属。

解决步骤

先读取模型 config 中的 num_hidden_layers 与 ple_layer_ids，例如 48 与 [2]。
按当前 pipeline_parallel_size 判断 ple_layer_ids 是否全部落在第一个阶段。优先使用模型自身决定层归属的同一函数，而不是自己重算切分：from vllm.distributed.utils import get_pp_indices。评论者给出的判断逻辑如下（仅作为可优先尝试的修改方向，未确认合入）：
if text_config.ple_layer_ids and parallel_config.pipeline_parallel_size > 1:
  start, end = get_pp_indices(text_config.num_hidden_layers, 0, parallel_config.pipeline_parallel_size)
  if not all(start <= int(i) < end for i in text_config.ple_layer_ids):
    raise NotImplementedError(...) # 报错信息保持不变
若确认 ple_layer_ids 全部落在第一个阶段，再评估打补丁放宽检查；若发现有 PLE 层落在后续 rank，则说明当前硬件/配置下该限制确实生效，不能通过放宽规避。
若选择本地打补丁，注意必须同时修改 model_executor/models/config.py:879，因为它在读取权重前最先触发；只改 models/qwen4_exp/{nvidia,amd}/model_state.py 会被它拦住。
在正式采用前，确认补丁是否已上游合入；评论者表示愿意提交 PR，但截至讨论时仅验证了 Intel XPU 路径的 pp_size = 2，CUDA 与 ROCm 需要他人确认。

验证方法

以目标 --pipeline-parallel-size（如 2 或 3）重新加载模型，确认不再抛出该 NotImplementedError，且模型能正常完成加载与推理输出。评论者强调他们是“读取输出”而非只测耗时来验证的。若仍在 config.py 处报错，说明补丁未覆盖最早触发的检查点。另需注意，评论中给出的加速比（如 -pp 2 下 K=2 投机解码每 token −32.7%）仅在其自测机器上成立，且该机器单次运行间漂移约 5.7%，不应直接套用到自己的环境。