AttributeError: ‘DeepseekV4Config’ object has no attribute ‘num_local_experts’ / vllm 0.27.1 / DeepSeek-V4-Flash-0731

问题场景

用户在使用 vLLM 0.27.1 运行 DeepSeek-V4-Flash-0731 模型时，执行 MoE 内核基准测试（`benchmarks/kernels/benchmark_moe.py`）触发报错。该脚本在获取模型参数时，因未识别模型架构而抛出属性错误。

报错原文

AttributeError: 'DeepseekV4Config' object has no attribute 'num_local_experts'

原因分析

根因已由维护者确认：`benchmarks/kernels/benchmark_moe.py` 中的 `get_model_params()` 函数没有为 `DeepseekV4ForCausalLM` 架构匹配任何 `elif` 分支，导致代码落入默认的 Mixtral 分支，读取了 `config.num_local_experts` 属性，而该属性不存在于 `DeepseekV4Config` 中。根据模型 `config.json`，DeepSeek-V4 使用的 MoE 字段名与 DeepSeek-V2/V3 相同（`n_routed_experts`、`num_experts_per_tok`、`moe_intermediate_size`、`hidden_size`），因此正确做法是将该架构加入 DeepSeek-V2/V3 分支。

环境排查

• 确认 vLLM 版本：0.27.1（触发报错的版本）
• 确认 Python 版本：3.12.13
• 确认 PyTorch 版本：2.13.0+cu130
• 确认 CUDA 版本：13.0
• 确认 GPU 型号：NVIDIA GH200 144G HBM3e（双卡）

解决步骤

1. 检查 `benchmarks/kernels/benchmark_moe.py` 中 `get_model_params()` 函数是否包含 DeepSeek-V4 分支。
2. 若未包含，在 DeepSeek-V2/V3 分支中补充 `DeepseekV4ForCausalLM` 架构匹配，并沿用 `n_routed_experts`、`num_experts_per_tok`、`moe_intermediate_size`、`hidden_size` 等字段读取参数。
3. 关注官方 PR 合并状态，合入后升级 vLLM 到修复版本，或直接使用最新源码重新安装。

验证方法

修改后重新运行触发报错的基准测试命令，确认不再抛出 `AttributeError`，且正确读取到模型 MoE 参数。

参考来源

vllm-project/vllm #52042

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。