Torch and xformers versions for 5090

问题场景

用户将显卡升级为 RTX 5090 后，Stable Diffusion WebUI Forge 停止工作。用户已按照常见的重装方法重新安装了 torch、torchaudio、torchvision 和 xformers，但仍然无法正常运行，因此在 Issue 中请求其他能在 50 系 GPU 上正常使用 Forge 的用户列出各自可用的版本组合。

报错原文

Torch and xformers versions for 5090

I just upgraded my GPU to 5090, and my webui forge stopped working. I have followed the tips to reinstall torch, torchaudio, torchvision, and xformers, but it's still not working for me. If your webui forge is working for 50 series GPU, can you please list your versions. Here is my list which is not working:

torch                        2.7.1+cu128
torchaudio               2.7.1+cu128
torchvision               0.22.1+cu128
xformers                  0.0.32.dev1073

原因分析

最可能的原因是 xformers 与 RTX 5090 的 Blackwell 架构（sm_120）以及 CUDA 12.8 不兼容。Issue 中用户报告 0.0.32.dev1073 这一 xformers 版本无法正常工作，而另一位用户明确表示“禁用了 xformers，终于让它跑起来了”，说明 xformers 是导致 Forge 无法启动或运行的关键环节。另一条高赞经验也指出，在 sm_120 上需要针对 CUDA 12.8 专门从源码构建 xformers，并关闭 Flash Attention 3、在 VAE 阶段跳过 xformers，以避免不支持的算子。因此，问题大概率出在 xformers 的预编译版本尚未覆盖 5090 / sm_120，而不是 torch 本身完全不可用。

环境排查

• 确认显卡是否为 RTX 5090（Blackwell，sm_120），并确认 CUDA / NVML 对当前用户可用。
• 确认当前安装的 torch、torchaudio、torchvision 版本以及对应的 CUDA 版本（Issue 中失败组合为 cu128 系列）。
• 确认 xformers 版本（Issue 中失败版本为 0.0.32.dev1073）。
• 确认是否已安装 CUDA 12.8 toolkit（nvcc），这是从源码构建 xformers 的前提。
• 确认 Python 与虚拟环境情况；有用户建议为 Blackwell 单独创建 venv，避免破坏主环境。
• 确认 Forge / 相关训练脚本启动时是否仍带有 xformers 相关加载参数。

解决步骤

1. 可优先尝试：在 WebUI Forge 中禁用 xformers 后重新启动，验证是否能够正常运行。这是 Issue 中明确验证有效的处理方式。
2. 若希望继续使用 xformers，可先尝试从源码安装：先卸载现有 xformers，再执行 pip install -v -U git+https://github.com/facebookresearch/xformers.git@main#egg=xformers。Issue 中另有备选方案为安装预编译 wheel：pip install xformers==0.0.31.post1 --index-url https://download.pytorch.org/whl/cu128，但该命令在 Issue 中仅作为替代方案列出，未被明确验证。
3. 若源码安装仍失败，可参考 Issue 中针对 Blackwell 的完整构建流程：确认 GPU 为 sm_120 且 CUDA/NVML 可用；必要时将用户加入 video/render 组；为 Blackwell 单独创建独立 venv；创建指向 PyTorch nightly CUDA 12.8 的 requirements 文件；安装 CUDA 12.8 toolkit；克隆 xformers、cutlass、flash-attention、composable_kernel 并修复子模块；使用 TORCH_CUDA_ARCH_LIST=12.0 和 CUDA 12.8 从源码构建 xformers。
4. 在 xformers 中关闭 Flash Attention 3 的选择：在 dispatch.py 中将 _USE_FLASH_ATTENTION_3 = False。
5. 保留 xformers 用于 U-Net，但在 sm_120 上跳过 VAE 阶段的 xformers，以避免不支持的算子，并相应调整 sdxl_train_network.py。
6. 增加启动脚本，固定使用 Blackwell venv 与 CUDA 12.8 环境变量，例如以 run_kohya_blackwell.sh 和 gui-blackwell.sh 作为入口。

验证方法

重新启动 Stable Diffusion WebUI Forge，确认不再出现 xformers 相关的加载或运行错误，并能正常完成一次推理或训练任务。若采用禁用 xformers 的方案，验证 WebUI 能正常启动并生成图像即视为问题缓解；若采用源码构建 xformers 的方案，需确认 xformers 能被成功导入并参与 U-Net 运算，同时 VAE 阶段未触发不支持的算子报错。

参考来源

lllyasviel/stable-diffusion-webui-forge #2998

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。