[Bug]: 4 B200 GPU ,DP 4 + EP(or TP 4 + EP),Deepseek V4 Flash 0731 , simultaneously processing hundreds of text extraction tasks, outputting

[Bug]: 4 B200 GPU ,DP 4 + EP(or TP 4 + EP),Deepseek V4 Flash 0731 , simultaneously processing hundreds of text extraction tasks, outputting

该报错通常出现在 vLLM 使用 4 张 B200 GPU、DP 4 + EP(或 TP 4 + EP)并行方式运行 DeepSeek V4 Flash 0731 模型,并同时处理数百个文本提取任务时,表现为输出乱码。优先排查是否使用了包含修复的 vLLM 更新版本,并检查并行配置是否与模型和任务规

CUDA out of memory

CUDA out of memory

在 vLLM 中,Model Runner V2 作为稠密模型默认执行器时,`profile_cudagraph_memory()` 返回 0,导致 CUDA graph 内存未预留在 KV cache 之外,`capture_model()` 阶段出现 OOM。优先排查方式:确认是否启用了 Mod