[Bug]: 4 B200 GPU ，DP 4 + EP（or TP 4 + EP），Deepseek V4 Flash 0731 , simultaneously processing hundreds of text extraction tasks, outputting

快速结论：该报错通常出现在 vLLM 使用 4 张 B200 GPU、DP 4 + EP（或 TP 4 + EP）并行方式运行 DeepSeek V4 Flash 0731 模型，并同时处理数百个文本提取任务时，表现为输出乱码。优先排查是否使用了包含修复的 vLLM 更新版本，并检查并行配置是否与模型和任务规模匹配。

适用环境：Ubuntu 22.04.5、Python 3.12.13、PyTorch 2.13.0+cu130、CUDA 13.0、NVIDIA B200 GPU（驱动 580.95.05）、vLLM v0.27.1（或 nightly 版本）。

最快修复方案：升级到包含 Issue #51318 修复的 vLLM 版本（例如 nightly 或更新的稳定版）。测试中，使用包含该修复的 nightly 镜像未复现乱码问题。

注意事项：该方案是 Issue 讨论中的推测，尚未在原始 B200 硬件和具体文档任务上得到完全验证。若更新后问题仍存在，应进一步排查输入数据、请求参数和并行配置。

问题场景

用户使用 4 张 B200 GPU，配置 DP 4 + EP（或 TP 4 + EP）并行运行 Deepseek V4 Flash 0731 模型，同时发起数百个文本提取任务时，输出出现乱码。

报错原文

[Bug]: 4 B200 GPU ，DP 4 + EP（or TP 4 + EP），Deepseek V4 Flash 0731 , simultaneously processing hundreds of text extraction tasks, outputting garbled characters.

原因分析

可能原因：
1. vLLM 版本较旧，缺少对 DeepSeek V4 Flash 模型并行推理的已知修复（Issue #51318）。
2. 极高的并发请求与大规模并行配置下，模型推理的同步或通信机制出现异常，导致输出乱码。
3. 使用的 B200 GPU 与测试环境中的 GB200 GPU 在硬件特性上存在差异，可能触发不同的问题路径。

环境排查

确认 vLLM 版本是否为 v0.27.1 或更早版本，是否包含 Issue #51318 的修复。
检查 GPU 型号为 B200，与测试环境的 GB200 存在差异。
确认 NVIDIA 驱动版本 580.95.05，CUDA 13.0 和 PyTorch 2.13.0+cu130 是否符合 vLLM 支持范围。
检查并行配置：DP 4 + EP（或 TP 4 + EP），以及是否启用 --enable-expert-parallel 等参数。

解决步骤

升级 vLLM 到包含 Issue #51318 修复的版本（例如最新的 nightly 镜像或更新的稳定版），该修复与乱码问题相似。
更新后重新启动服务，使用与之前相同的并行配置和模型进行测试。
如果乱码仍出现，尝试降低并发请求数量，或在启动时添加 --enforce-eager 参数绕过 CUDA graph 编译问题（测试中使用该参数完成了并发测试）。
提供可复现的脚本（例如 X.py）和具体文档 ID、请求参数（输入/输出长度），以便开发人员进行精准定位。