Not using CUDA

快速结论：该问题通常出现在 Windows 上用一键安装脚本部署 TextGen WebUI 时，安装流程虽然没报错，但实际装成了 CPU 版 PyTorch，导致启动后无法调用 GPU。优先确认 PyTorch 是否为 CUDA 版、CUDA 是否真实可用，再考虑换用官方推荐的 WSL 安装方式。

适用环境：Windows 10 / Windows 11；NVIDIA RTX 3060 / 3060 Ti；PyTorch 2.0.0+cpu；使用 oobabooga 一键安装脚本。

最快修复方案：暂无确认的一步修复方案。Issue 中提到用户手动安装 Miniconda，再安装 CUDA 11.7 和 CUDA 版 PyTorch 后，torch.cuda.is_available() 返回 True，但该做法并未被维护者确认为官方修复路径，可优先尝试。

注意事项：重新安装一键脚本包、手动调整 CUDA / PyTorch 版本均属于社区经验，不同显卡驱动和系统环境下结果可能不同；若继续使用 Windows 原生环境，仍可能遇到其他 CUDA 相关问题。

问题场景

用户在 Windows 10 上运行 oobabooga TextGen WebUI 的一键安装脚本，安装过程没有报错；但启动 start-webui 后，程序找不到 GPU（RTX 3060 Ti）。检查 conda list 没有看到已安装的 CUDA 包，nvcc 也无法找到任何内容，并且 torch 版本显示为 2.0.0+cpu。多位用户在 Windows 10 / Windows 11 + RTX 3060 / 3060 Ti 环境下遇到同样的问题，有人提到多次全新安装后仍然如此。

报错原文

Not using CUDA

原因分析

可能原因是：一键安装脚本在 Windows 上安装的 CUDA 版本与 PyTorch 2.0.0 所需的 CUDA 版本不匹配，或者脚本实际上安装了 CPU 版 PyTorch（表现为 2.0.0+cpu）。Issue 中有用户明确提到自己怀疑问题与 CUDA 版本以及 conda 如何使用该版本有关；另一位用户认为脚本安装的 CUDA 版本不是 PyTorch 2.0.0 所支持的版本。维护者在评论中提到 Windows 上已有约 40 个 CUDA 相关问题，并建议尝试 WSL，认为 WSL 的体验更顺畅。因此该问题更可能是 Windows 原生安装链路中 CUDA / PyTorch 版本不匹配导致的，而不是单纯没选 Nvidia 选项。

环境排查

确认操作系统：Windows 10 还是 Windows 11。
确认显卡型号：Issue 中涉及 RTX 3060、RTX 3060 Ti。
确认 PyTorch 版本及是否带 CPU 后缀，例如 2.0.0+cpu 表示 CPU 版。
确认 torch.cuda.is_available() 的返回值。
确认 conda list 中是否存在 CUDA 相关包。
确认 nvcc 是否可用，以及其报错或缺失情况。
确认使用的安装脚本是否为最新版本，Issue 中维护者建议重新下载一键安装脚本。
确认是否使用 WSL；维护者建议在 Windows 上优先考虑 WSL。

解决步骤

先确认问题现象：启动 TextGen WebUI 后观察是否提示 Not using CUDA，并检查 torch.__version__ 是否包含 +cpu。
可优先尝试维护者建议：重新下载最新的一键安装脚本并从头安装。Issue 中维护者回复“Try re-downloading the script and starting over, it was updated yesterday”，并给出了 one-click-installers 的下载地址。
如果重新安装后仍然是 CPU 版 PyTorch，可尝试改用 WSL。维护者明确建议“Can you try WSL? There are some 40 issues about CUDA on Windows. WSL should be a smoother experience.”，并指向 text-generation-webui 的新安装说明。
若坚持在 Windows 原生环境排查，可参考 Issue 中用户的实验：从全新安装开始，先安装 Miniconda，再安装 conda CUDA 11.7，然后安装 CUDA 版 PyTorch。该用户表示这样操作后 torch.cuda.is_available() 从 False 变为 True。
另有用户建议使用 PyTorch 2.0.0 之前的版本，称这样可以绕过问题，但该做法属于个人经验，且用户同时表示后续还遇到其他问题，需要谨慎参考。

验证方法

在 Python 环境中运行 torch.cuda.is_available()，确认返回 True；同时确认 torch.__version__ 不再带 +cpu 后缀。启动 TextGen WebUI 后，确认不再提示 Not using CUDA，且模型加载时能够识别并使用 GPU。若使用 WSL，则在 WSL 环境中执行同样检查。