RuntimeError: start (0) + length (4096) exceeds dimension size (2048)`.

问题场景

用户使用 vLLM 的 MTP 投机解码功能，以 Gemma 4 31B 主模型搭配其原生 assistant 模型（google/gemma-4-31B-it-assistant）作为 draft 模型进行推理。在模型参数加载阶段触发崩溃。Gemma 4 系列模型采用异构注意力层设计：45 层滑动注意力层使用 head_dim=256，15 层全局注意力层使用 global_head_dim=512。

报错原文

File "vllm/model_executor/parameter.py", line 195, in load_qkv_weight
    param_data = param_data.narrow(self.output_dim, shard_offset, shard_size)
RuntimeError: start (0) + length (4096) exceeds dimension size (2048)

原因分析

可能原因：在 MTP draft 层的参数加载过程中，vLLM 的 _ColumnvLLMParameter.load_qkv_weight 对所有层统一使用全局的 global_head_dim=512 来计算切片范围。然而 Gemma 4 的滑动注意力层实际 head_dim 只有 256，对应的参数维度是 2048。当代码试图按全局配置的 512 head_dim（对应 4096 维度）对滑动层参数进行切片时，切片起始位置（0）加上切片长度（4096）超过了该层参数的实际维度（2048），触发 RuntimeError。

环境排查

• 确认 vLLM 版本是否为 0.27.0 或更早版本（0.27.0 未包含修复）。
• 确认使用的模型确实为异构注意力层架构（Gemma 4 系列），可通过模型 config 检查并确认 head_dim 与 global_head_dim 是否不同。
• 确认 MTP 投机解码配置中 draft 模型与主模型的 head_dim 设置是否一致。
• 检查是否使用了自定义或修改过的 vLLM 参数加载代码。

解决步骤

1. 升级 vLLM 版本（可优先尝试）：将 vLLM 升级到包含 PR #49797 修复的最新 main 分支版本，该 PR 已确认修复此问题，但未发布在 0.27.0 中。
2. 应用临时补丁（如无法升级）：如果无法立即升级，可参考 Issue 中提出的修复方案，修改 vllm/model_executor/parameter.py 中的 load_qkv_weight 方法，在切片前增加边界检查逻辑：

   max_param = param_data.shape[self.output_dim]
   max_loaded = loaded_weight.shape[self.output_dim]
   shard_offset = min(shard_offset, max_param)
   shard_size = min(shard_size, max_param - shard_offset)
   loaded_start = min(shard_id_int * shard_size, max_loaded)
   shard_size = min(shard_size, max_loaded - loaded_start)
   if shard_size <= 0:
       return

3. 同步修改 weight_utils.py（如适用）：在 vllm/model_executor/model_loader/weight_utils.py 中增加一维参数加载的保护逻辑：

   if param.size() != loaded_weight.size() and param.dim() == 1 and loaded_weight.dim() == 1:
       min_len = min(param.size(0), loaded_weight.size(0))
       param.data[:min_len].copy_(loaded_weight[:min_len])

4. 验证修复：重新运行启动命令，确认参数加载不再触发 RuntimeError。

验证方法

重新执行触发问题的模型启动命令，观察是否能正常完成参数加载并进入推理阶段。若启动过程不再出现 RuntimeError: start (0) + length (4096) exceeds dimension size (2048)，且模型能够正常响应请求，则说明问题已解决。

参考来源

vllm-project/vllm #51737

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。