[Bug]: v0.19.1 failed to load AWQ 4bit quantization of Gemma 4 26B-A4B

快速结论： 该报错通常发生在尝试在 vLLM 0.19.1 版本中加载 Gemma 4 26B-A4B 模型的 AWQ 4bit 量化权重时。优先排查是否为 experts.0.down_proj_packed 键值缺失导致的加载失败，该问题已被确认并修复。

问题场景

用户在使用 vLLM 0.19.1 版本加载 Gemma 4 26B-A4B 模型的 AWQ 4bit 量化权重文件时，遇到了加载失败的情况。环境配置包括 Ubuntu 24.04、Python 3.13、PyTorch 2.10.0、CUDA 12.8、NVIDIA 595.58.03 驱动，并使用 NVIDIA GeForce RTX 5060 Ti 双卡。

报错原文

KeyError: '...experts.0.down_proj_packed'

原因分析

这是一个已确认的复制问题（duplicate of #40591）。根本原因是 PR #39045 引入的 packed-expert 名称匹配回归（regression），导致加载 Gemma 4 MoE 模型的 AWQ 量化权重时，无法正确匹配带有下划线后缀的 packed/scale expert 名称（如 down_proj_packed）。该问题已在 PR #40708 中修复。

环境排查

• vLLM 版本： 确认是否为 v0.19.1 或接近该版本（main 分支已于 2026-05-09 合并修复）。
• 模型： 确认加载的是 Gemma 4 26B-A4B 的 AWQ 4bit 量化权重。
• 关键报错密钥： 确认加载日志中是否包含 KeyError: '...experts.0.down_proj_packed'。
• PyTorch / CUDA 环境： Issue 环境中使用了 PyTorch 2.10.0+cu128 和 CUDA 12.8，但这并非问题核心触发点。

解决步骤

1. 升级 vLLM 版本： 将 vLLM 升级到包含 PR #40708 修复的版本（如 main 分支或后续稳定版）。因该修复已于 2026-05-09 合入 main，建议直接使用 main 分支的最新代码。
2. 验证加载： 使用升级后的 vLLM 重新尝试加载同一个 Gemma 4 26B-A4B 的 AWQ 4bit 权重文件。

验证方法

加载模型时不出现 KeyError: '...experts.0.down_proj_packed' 报错，模型成功加载并可进行推理，即问题已解决。

参考来源

vllm-project/vllm #40286 (以及其关联的修复 PR #40708 和重复源 Issue #40591)

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。