ValueError: LoRA adapter 1 contains fused 3D MoE weights for ‘language_model.model.layers.0.experts’, but the model uses a 2D MoE LoRA wrapper. Start the engine with enable_mixed_moe_lora_form

问题场景

用户在 Intel XPU 环境运行 vLLM，加载 Gemma4 MoE 模型并挂载 PEFT 专家 LoRA 适配器。启动引擎时未提供 enable_mixed_moe_lora_format，模型加载阶段抛出权重格式不匹配的异常。

报错原文

ValueError: LoRA adapter 1 contains fused 3D MoE weights for 'language_model.model.layers.0.experts', but the model uses a 2D MoE LoRA wrapper. Start the engine with enable_mixed_moe_lora_form

原因分析

最可能的原因是 LoRA 适配器中对应 experts 的权重以融合 3D 形式保存，而模型侧按 2D MoE LoRA 包装器解析，两者结构不一致导致加载校验失败。报错文本提示需要以混合 MoE LoRA 格式启动引擎，说明默认启动路径未启用该格式。Issue 中标注由 vllm-project/vllm#64437 修复。

环境排查

• 确认 vLLM 版本/提交是否早于修复提交；Issue 复现于 3966924d56 和 5d35ce3934。
• 确认是否为 Intel XPU 构建，PyTorch 是否为 +xpu 版本。
• 确认 LoRA 适配器是否为 PEFT 格式、是否针对 Gemma4 MoE 的 experts 层导出。
• 确认启动引擎时是否显式启用混合 MoE LoRA 格式。
• 确认 transformers 版本与模型结构解析是否匹配（Issue 环境为 5.20.2）。

解决步骤

1. 可优先尝试：在启动引擎时启用 enable_mixed_moe_lora_format，再重新加载同一 Gemma4 MoE 模型与 PEFT 专家 LoRA 适配器。
2. 若仍失败，升级 vLLM 到包含 vllm-project/vllm#64437 修复的版本或提交后重试。
3. 核对 LoRA 适配器导出格式与模型 experts 层结构是否一致，避免混用 2D 与 3D 融合权重。

验证方法

重新启动引擎后，模型与 LoRA 适配器应能正常完成加载，不再出现上述 ValueError；可对带 LoRA 的 MoE 模型发起一次推理，确认输出正常生成。

参考来源

vllm-project/vllm #64436

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。