No module named ‘libtpu’

问题场景

用户在 Blackwell 架构 GPU 上通过 vLLM 提供 Qwen2.5-VL-32B-Instruct（以及评论中基于 Qwen2.5-VL 的 Nanonets-OCR-s）推理服务。日志显示平台自动识别为 CUDA、模型权重 safetensors 分片已全部加载完成，随后在初始化视觉编码器缓存（Encoder cache）时触发 CUDA 错误并中断进程。

报错原文

TPU platform is not available because: No module named 'libtpu'
...
WARNING [cuda.py:211] Current `vllm-flash-attn` has a bug inside vision module, so we use xformers backend instead. You can run `pip install flash-attn` to use flash-attention backend.
...
Encoder cache will be initialized with a budget of 98304 tokens, and profiled with 1 video items of the maximum feature size.
CUDA error (/__w/xformers/xformers/third_party/flash-attention/hopper/flash_fwd_launch_template.h:188): invalid argument

原因分析

日志中 No module named 'libtpu' 只是 vLLM 在启动时探测 TPU 平台失败的调试输出，并非本次故障根因；CUDA 平台随后已被正常确认。真正的失败点是视觉模块的 FlashAttention 前向启动模板抛出 invalid argument。

可能原因：Blackwell（SM120）属于较新的计算能力，Issue 中使用的 vLLM / PyTorch 预编译包可能尚未完全覆盖该架构的视觉 attention 算子；日志显示视觉模块回退到 xformers 后端，而 xformers 内部的 flash-attention hopper 模板在该设备上启动失败。评论中同类现象在另一款 Blackwell 显卡与另一基于 Qwen2.5-VL 的模型上复现，说明问题可能与架构后端支持相关，而非单一模型。

另一种可能是 WSL 等运行环境带来的限制（评论日志中出现 Using 'pin_memory=False' as WSL is detected 警告），需排除环境因素。

环境排查

• 确认 GPU 架构与计算能力，是否属于 Blackwell（SM120 等）。
• 确认 CUDA 版本（Issue 中为 12.9）与驱动版本（580.82.07）。
• 确认 vLLM 实际运行版本与安装来源，注意命令行报告的版本与安装命令中的版本号可能不一致。
• 确认 PyTorch 版本及是否包含对应 SM 版本的预编译支持（Issue 未给出，需自行确认）。
• 确认 attention 后端：日志显示视觉模块使用了 xformers 或 Flash Attention，需留意相关警告。
• 若在 WSL 下运行，注意其内存固定行为限制。

解决步骤

1. 先在日志中定位失败阶段：确认权重是否已完成加载（Loading weights took ...），失败是否发生在 Encoder cache 初始化处，以区分加载故障与算子执行故障。
2. 记录日志中的 attention 后端提示（如 xformers backend 警告），确认视觉模块实际使用的后端。
3. 核对当前 vLLM 与 PyTorch 是否声明支持你的 GPU 计算能力；若不支持，可优先尝试升级到明确支持 Blackwell 的 vLLM / PyTorch 组合。
4. 若升级后仍复现，可优先尝试按日志提示切换 attention 后端（例如安装 flash-attn 使用 flash-attention 后端）进行对照测试，确认是否与 xformers 后端相关。
5. 如需进一步确认硬件正常，可先用 PyTorch 做一次简单的 CUDA 计算自检，排除驱动或设备异常。
6. 若以上均无效，在 GitHub Issue 中补充完整 collect_env.py 输出、PyTorch 版本与失败阶段的完整堆栈，便于维护者定位 SM120 支持情况。

验证方法

重新启动服务，确认模型加载后能顺利通过视觉编码器缓存初始化阶段，日志中不再出现 invalid argument，且服务开始正常响应请求；同时确认所选 attention 后端与实际 GPU 计算能力匹配，没有回退到不受支持的算子路径。

参考来源

vllm-project/vllm #24383

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。