ValueError: Overflow when unpacking long long

问题场景

在 vLLM XPU 后端上，使用混合 GDN/Mamba 模型（如 Qwen3.5 / Qwen3.6 MoE）启动服务，并同时开启 --enable-prefix-caching --mamba-cache-mode align。服务初始化正常，但在发送第一个请求时引擎崩溃。同类问题也可能在仅开启 --enable-prefix-caching 的 Qwen3.6-27B-FP8 模型上出现（如评论中报告的启动阶段崩溃）。

报错原文

ValueError: Overflow when unpacking long long
  File "vllm/v1/worker/mamba_utils.py", line 626, in initialize_from_forward_context
    self.state_base_addrs[idx] = state.data_ptr()

原因分析

可能原因：在 mamba_utils.py 中，state_base_addrs 被分配为 torch.int64（有符号 64 位）张量。在 Intel XPU 上，Level Zero USM 设备指针的地址值可能超过 2^63，因此将 state.data_ptr() 返回的 Python 整数直接赋值给有符号 int64 张量会发生溢出。CUDA 后端不存在此问题，因为其设备指针落在有符号范围内。

Issue 中的复现实验进一步说明，同一模型在未启用 prefix caching 时正常工作，一旦开启 --enable-prefix-caching 即崩溃，表明问题与缓存路径中指针存储逻辑相关，而非模型本身的换算问题。

环境排查

• 确认是否使用 XPU 后端（VLLM_TARGET_DEVICE=xpu），以及 vLLM 版本是否为 0.23.1rc1.dev920 或相近的主线版本。
• 确认 PyTorch 版本是否为 XPU 构建（2.12.0+xpu）及对应的 Level Zero / IGC / oneAPI 驱动版本。
• 确认是否开启 --enable-prefix-caching --mamba-cache-mode align（或仅 prefix caching）并配合 Mamba 混合架构模型。
• 检查 mamba_utils.py 中 state_base_addrs 的数据类型是否为 torch.int64，以及第 626 行附近 state.data_ptr() 返回的地址值。

解决步骤

1. 复现问题：以 --enable-prefix-caching --mamba-cache-mode align --max-num-batched-tokens 4096 --dtype bfloat16 启动 Qwen3.5/3.6 MoE 混合模型，发送一次 completion 请求，确认报错。
2. 定位报错位置：查看堆栈中 vllm/v1/worker/mamba_utils.py 第 626 行 initialize_from_forward_context 方法中的赋值逻辑。
3. 验证指针值：在崩溃前打印 state.data_ptr() 的原始值，确认是否超过 2^63（约 9.22e18）。
4. 尝试修改数据类型或赋值方式（可优先尝试）：将 state_base_addrs 分配为 torch.uint64，或对 state.data_ptr() 返回值做有符号重解释：ptr - 2**64 if ptr >= 2**63 else ptr，保持 int64 缓冲区不变。注意此方案仅为 Issue 中的建议，并未经作者验证，修改后需重新测试。
5. 检查下游内核兼容性：如果修改了张量类型，确认 Triton 拷贝内核的地址运算是否仍按预期工作（其地址算术为模 2^64 有符号补码，理论上可解析出正确指针）。
6. 临时绕过（如果不需要该功能）：在当前 XPU 环境中暂时不开启 --enable-prefix-caching 或 --mamba-cache-mode align，可避免崩溃。

验证方法

修复后重新启动 vLLM 服务，发送多条完成请求（包括前缀复用场景），确认不再出现 Overflow when unpacking long long 报错，且 Mamba 前缀缓存命中时输出正常。可通过 vllm bench serve 或批量请求工具验证多轮请求的稳定性。

参考来源

vllm-project/vllm #48059

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。