快速结论:该报错通常出现在用 vLLM 加载带有量化 routed MoE gate(例如 checkpoint 中存在 mlp.gate.qweight)的 Qwen3-Next 类模型时,vLLM 却按未量化布局创建了 gate 参数。优先确认模型 checkpoint 是否真的包含量化 gate,以及建模代码是否把量化配置传给了 gate 层。
适用环境:Issue 中已确认的复现环境为 NVIDIA DGX Spark / GB10,镜像 ghcr.io/timothystewart6/vllm-gb10:latest,vLLM 0.30.1.dev0+gced6857af.d20260927,模型 Intel/Qwen3-Coder-Next-int4-AutoRound。未提供完整的 collect_env.py 输出,Python、PyTorch、CUDA 版本未在 Issue 中确认。
最快修复方案:暂无确认的一步修复方案。Issue 讨论中给出的方向是在 Qwen3-Next 的 gate 创建处按 checkpoint 实际量化情况传入 quant_config,而不是无条件传入;该方向尚未经该 checkpoint 实际加载验证。
注意事项:该问题不是 #58234 引入的回归,也不限于 GB10 硬件;相关调用点在多个 MoE 模型中存在。直接对所有 gate 无条件传 quant_config 可能改变未量化 gate 的行为,Issue 讨论中提到还需处理 fp32 权重分支等细节,因此不宜照搬为通用补丁。
问题场景
用户使用 vLLM 启动 Intel/Qwen3-Coder-Next-int4-AutoRound,未显式指定 --quantization,由 checkpoint 自身配置声明 AutoRound/INC 量化。加载权重时,checkpoint 中存在量化后的 routed gate 参数 model.layers.0.mlp.gate.qweight,但 vLLM 为 Qwen3-Next 的 routed MoE gate 创建的是未量化参数 model.layers.0.mlp.gate.weight,导致加载阶段报错、服务无法启动。
报错原文
ValueError: There is no module or parameter named
'layers.0.mlp.gate.qweight' in Qwen3NextModel.
The available parameters belonging to layers.0.mlp.gate
(ReplicatedLinear) are:
{'layers.0.mlp.gate.weight'}
原因分析
最可能的原因是 Qwen3-Next 的 Qwen3NextSparseMoeBlock 在创建 routed gate 时没有把模型的 quant_config 传给 gate 层。历史上该 gate 使用 ReplicatedLinear(quant_config=None),即从未量化;#58234 改为 GateLinear 后,调用处仍未传入 quant_config,因此即使 GateLinear 本身支持量化配置,该 gate 仍按未量化布局实例化。另一个可能的相关因素是:部分 checkpoint 有意不量化 gate,因此修复时需要按 checkpoint 或量化格式判断,而不能简单地一律量化。
环境排查
- 确认模型仓库配置中是否声明 AutoRound/INC 量化,并检查 checkpoint 是否实际包含
model.layers.0.mlp.gate.qweight。 - 确认当前 vLLM 版本是否包含将 Qwen3-Next gate 改为
GateLinear的 #58234 变更。 - 检查
vllm/model_executor/models/qwen3_next.py中 gate 创建处是否传入quant_config。 - 若使用 ModelOpt 类量化,确认 gate 是否被设计为保持未量化;Issue 提到 #35261 对此有专门处理。
- Issue 未提供完整
collect_env.py,建议补充 Python、PyTorch、CUDA 与 vLLM 完整版本,便于复现定位。
解决步骤
- 先按最小方式复现并保留完整日志:
export VLLM_LOGGING_LEVEL=DEBUG vllm serve Intel/Qwen3-Coder-Next-int4-AutoRound - 核对 checkpoint 中 gate 的权重命名,确认是
gate.qweight还是gate.weight,判断该模型是否确实需要量化 gate。 - 定位
qwen3_next.py中GateLinear的调用处,确认当前是否未传quant_config。 - 可优先尝试的方向:为 gate 解析出与 checkpoint 匹配的量化配置,再传给
GateLinear(quant_config=gate_quant_config, prefix=f"{prefix}.gate")。 - 如果仅针对 AutoRound/INC,建议参考 #59093 中的做法,增加谓词只在量化算法匹配时返回配置,而不是对所有模型无条件透传。
- 由于讨论未提供验证过的补丁,修改后需自行在小规模加载测试中确认,不要直接用于生产环境。
验证方法
重新执行上面的 vllm serve 命令,观察权重加载阶段不再出现 ValueError: There is no module or parameter named,且服务能正常完成启动。同时建议对比未量化 gate 的模型仍能正常加载,确认修改没有影响本来就不量化 gate 的 checkpoint。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


