ValueError: There is no module or parameter named

该报错通常出现在用 vLLM 加载带有量化 routed MoE gate(例如 checkpoint 中存在 mlp.gate.qweight )的 Qwen3-Next 类模型时,vLLM 却按未量化布局创建了 gate 参数。优先确认模型 checkpoint 是否真的包含量化 gate,以及

快速结论:该报错通常出现在用 vLLM 加载带有量化 routed MoE gate(例如 checkpoint 中存在 mlp.gate.qweight)的 Qwen3-Next 类模型时,vLLM 却按未量化布局创建了 gate 参数。优先确认模型 checkpoint 是否真的包含量化 gate,以及建模代码是否把量化配置传给了 gate 层。

适用环境:Issue 中已确认的复现环境为 NVIDIA DGX Spark / GB10,镜像 ghcr.io/timothystewart6/vllm-gb10:latest,vLLM 0.30.1.dev0+gced6857af.d20260927,模型 Intel/Qwen3-Coder-Next-int4-AutoRound。未提供完整的 collect_env.py 输出,Python、PyTorch、CUDA 版本未在 Issue 中确认。

最快修复方案:暂无确认的一步修复方案。Issue 讨论中给出的方向是在 Qwen3-Next 的 gate 创建处按 checkpoint 实际量化情况传入 quant_config,而不是无条件传入;该方向尚未经该 checkpoint 实际加载验证。

注意事项:该问题不是 #58234 引入的回归,也不限于 GB10 硬件;相关调用点在多个 MoE 模型中存在。直接对所有 gate 无条件传 quant_config 可能改变未量化 gate 的行为,Issue 讨论中提到还需处理 fp32 权重分支等细节,因此不宜照搬为通用补丁。

问题场景

用户使用 vLLM 启动 Intel/Qwen3-Coder-Next-int4-AutoRound,未显式指定 --quantization,由 checkpoint 自身配置声明 AutoRound/INC 量化。加载权重时,checkpoint 中存在量化后的 routed gate 参数 model.layers.0.mlp.gate.qweight,但 vLLM 为 Qwen3-Next 的 routed MoE gate 创建的是未量化参数 model.layers.0.mlp.gate.weight,导致加载阶段报错、服务无法启动。

报错原文

ValueError: There is no module or parameter named
'layers.0.mlp.gate.qweight' in Qwen3NextModel.

The available parameters belonging to layers.0.mlp.gate
(ReplicatedLinear) are:

{'layers.0.mlp.gate.weight'}

原因分析

最可能的原因是 Qwen3-Next 的 Qwen3NextSparseMoeBlock 在创建 routed gate 时没有把模型的 quant_config 传给 gate 层。历史上该 gate 使用 ReplicatedLinear(quant_config=None),即从未量化;#58234 改为 GateLinear 后,调用处仍未传入 quant_config,因此即使 GateLinear 本身支持量化配置,该 gate 仍按未量化布局实例化。另一个可能的相关因素是:部分 checkpoint 有意不量化 gate,因此修复时需要按 checkpoint 或量化格式判断,而不能简单地一律量化。

环境排查

  • 确认模型仓库配置中是否声明 AutoRound/INC 量化,并检查 checkpoint 是否实际包含 model.layers.0.mlp.gate.qweight。
  • 确认当前 vLLM 版本是否包含将 Qwen3-Next gate 改为 GateLinear 的 #58234 变更。
  • 检查 vllm/model_executor/models/qwen3_next.py 中 gate 创建处是否传入 quant_config。
  • 若使用 ModelOpt 类量化,确认 gate 是否被设计为保持未量化;Issue 提到 #35261 对此有专门处理。
  • Issue 未提供完整 collect_env.py,建议补充 Python、PyTorch、CUDA 与 vLLM 完整版本,便于复现定位。

解决步骤

  1. 先按最小方式复现并保留完整日志:
    export VLLM_LOGGING_LEVEL=DEBUG
    vllm serve Intel/Qwen3-Coder-Next-int4-AutoRound
  2. 核对 checkpoint 中 gate 的权重命名,确认是 gate.qweight 还是 gate.weight,判断该模型是否确实需要量化 gate。
  3. 定位 qwen3_next.py 中 GateLinear 的调用处,确认当前是否未传 quant_config。
  4. 可优先尝试的方向:为 gate 解析出与 checkpoint 匹配的量化配置,再传给 GateLinear(quant_config=gate_quant_config, prefix=f"{prefix}.gate")。
  5. 如果仅针对 AutoRound/INC,建议参考 #59093 中的做法,增加谓词只在量化算法匹配时返回配置,而不是对所有模型无条件透传。
  6. 由于讨论未提供验证过的补丁,修改后需自行在小规模加载测试中确认,不要直接用于生产环境。

验证方法

重新执行上面的 vllm serve 命令,观察权重加载阶段不再出现 ValueError: There is no module or parameter named,且服务能正常完成启动。同时建议对比未量化 gate 的模型仍能正常加载,确认修改没有影响本来就不量化 gate 的 checkpoint。

参考来源

vllm-project/vllm #59248

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36185

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注