ValueError: … Reason: [‘kv_cache_dtype not supported’]`) — likely because the Qwen3-Next hybrid Mamba/attention architecture isn’t wired up for NVFP4 KV cache yet, separate from the SM 12.1

快速结论：该报错通常发生在 SM 12.1（Blackwell GB10）平台上，当加载 Qwen3-Next 系列模型（如 `nvidia/Qwen3.6-35B-A3B-NVFP4`）并尝试使用 NVFP4 KV cache 时。优先排查 vLLM 版本是否已包含对混合 Mamba/Attention 架构的 NVFP4 支持，或改用 fp8 KV cache。

问题场景

用户在 NVIDIA GB10/DGX Spark (SM 12.1) 平台上运行 vLLM，加载 Qwen3-Next 混合 Mamba/Attention MoE 架构模型（如 `nvidia/Qwen3.6-35B-A3B-NVFP4`），配置了 `–kv-cache-dtype fp8`（实际试图使用 NVFP4）时触发。

报错原文

ValueError: ... Reason: ['kv_cache_dtype not supported']`) — likely because the Qwen3-Next hybrid Mamba/attention architecture isn't wired up for NVFP4 KV cache yet, separate from the SM 12.1

原因分析

可能原因：Qwen3-Next 采用的混合 Mamba/Attention 架构尚未为 NVFP4 KV cache 做适配。这个错误与 SM 12.1 硬件本身无关，而是特定模型架构与特定 KV cache 数据类型的兼容性问题。即使系统支持 SM 12.1，该模型在 NVFP4 KV cache 下也无法正常工作。

环境排查

GPU: NVIDIA GB10 (SM 12.1 / compute_121)
vLLM 版本: 请确认版本（用户使用的是 v0.25.0，但此问题可能仍存在于更早版本）
模型: 确认模型是否为 Qwen3-Next 系列（如 `nvidia/Qwen3.6-35B-A3B-NVFP4`）
KV cache dtype: 确认配置中 `–kv-cache-dtype` 参数是否设置为 `fp8`（实际映射到 NVFP4）
CUDA 驱动: 580.159.03
CUDA 版本: 13.0

解决步骤

降级 KV cache dtype: 将 `–kv-cache-dtype fp8` 改为 `–kv-cache-dtype fp8_e4m3` 或移除该参数（使用默认 dtype）。NVFP4 支持尚未在 Qwen3-Next 架构上实现。
检查 vLLM 更新: 确认使用的 vLLM 版本是否已包含对此类混合架构的 NVFP4 KV cache 支持（截至 Issue 关闭时，此功能尚未合入）。
使用其他 KV cache 后端: 可尝试 `–attention-backend FLASHINFER` 配合标准 KV cache dtype。

验证方法

移除 `–kv-cache-dtype fp8` 后重新运行服务器，观察是否还能正常加载模型并响应推理请求。如能正常启动并通过 `/v1/chat/completions` 返回结果，则问题已解决。

参考来源

vllm-project/vllm #31588

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

ValueError: … Reason: [‘kv_cache_dtype not supported’]`) — likely because the Qwen3-Next hybrid Mamba/attention architecture isn’t wired up for NVFP4 KV cache yet, separate from the SM 12.1