Not using CUDA

快速结论：在 Windows 上通过一键安装脚本运行 TextGen WebUI 时，脚本没有正确安装 CUDA 版 PyTorch，导致启动后 GPU 不可用，核心报错为 Not using CUDA。优先检查 PyTorch 是否为 CPU 版本，以及 CUDA 运行时是否装对。

适用环境：Windows 10 / Windows 11，显卡为 RTX 3060 / 3060 Ti，PyTorch 2.0.0+cpu，通过 conda 或一键安装脚本部署 TextGen WebUI。Issue 中未确认具体 Python 版本和 CUDA Toolkit 版本。

最快修复方案：暂无确认的一步修复方案。Issue 中多名用户通过重装、手动安装 CUDA 11.7 与对应 PyTorch 版本或改用 WSL 后部分解决，但均未被统一验证为通用修复方式。

注意事项：重装脚本可能仍然装成 CPU 版 PyTorch；手动降级或切换 PyTorch 版本存在依赖冲突风险；WSL 方案在后续使用中出现了显存 / 内存被杀的新问题，不代表全部症状都能解决。

问题场景

用户在 Windows 10 或 Windows 11 上运行 TextGen WebUI 的一键安装脚本（one-click installers），安装过程没有报错，但执行 start-webui 启动脚本后，程序无法找到 GPU。用户在安装时选择了 Nvidia 选项，但 conda list 中看不到已安装的 CUDA 包，nvcc 也找不到，检查 torch 版本显示为 2.0.0+cpu，属于 CPU 版 PyTorch，因此 TextGen WebUI 运行时提示 Not using CUDA。

报错原文

Not using CUDA
torch version: 2.0.0+cpu
nvcc: not found
torch.cuda.is_available() == False

原因分析

可能原因是安装脚本在 Windows 下安装的 CUDA 版本与 PyTorch 2.0.0 所支持的 CUDA 版本不匹配，或者 conda 环境中根本没有正确安装 CUDA 运行时，导致最终装上的 PyTorch 是 CPU 版本。Issue 中有用户认为问题出在“脚本安装的 CUDA 版本与 PyTorch 2.0.0 不兼容”。另有用户通过手动先装 miniconda、再装 conda cuda 11.7、最后装 PyTorch CUDA 版，使 torch.cuda.is_available() 返回 true。由于没有官方确认根因，以上均属可优先排查的方向。

环境排查

确认 python -c "import torch; print(torch.__version__)" 的输出是否包含 +cpu，若为 +cpu 则说明装的是 CPU 版 PyTorch。
确认 python -c "import torch; print(torch.cuda.is_available())" 是否返回 False。
确认 conda 环境中是否安装了 CUDA 相关包，可用 conda list 查看是否有 cudatoolkit 或 pytorch-cuda 等条目。
确认系统 nvcc 是否可用；nvcc 找不到不一定代表无法使用 GPU，但结合 2.0.0+cpu 基本可判断当前 PyTorch 无法调用 CUDA。
确认使用的安装脚本是否为最新版本；Issue 中有回复建议重新下载 one-click installers 脚本并重新安装。
确认是否尝试过 WSL 方案；维护者在评论中建议 Windows CUDA 问题较多，可改用 WSL，但 WSL 下仍可能出现其他问题。

解决步骤

先确认当前 PyTorch 版本：运行 python -c "import torch; print(torch.__version__)"。如果输出带有 +cpu，说明装的是 CPU 版，需要处理 CUDA 版 PyTorch 的安装问题。
可优先尝试重新下载最新的 one-click installers 脚本并重新安装。Issue 中有回复称脚本已更新，建议使用最新版本重试；但该建议未在所有用户处确认有效。
如果不使用一键脚本，可尝试手动在 conda 环境中安装 CUDA 运行时和 CUDA 版 PyTorch。Issue 中有用户报告先安装 miniconda，再安装 conda cuda 11.7，然后安装 PyTorch CUDA 版后，torch.cuda.is_available() 返回 true。
可优先尝试将 PyTorch 降到 2.0.0 之前的版本。Issue 中有用户反馈，脚本安装的 CUDA 版本与 PyTorch 2.0.0 不兼容，改用 2.0.0 之前的 PyTorch 版本后绕过了该问题；该方案同样未获得官方确认。
如果以上在 Windows 原生环境下均不奏效，可按维护者建议尝试 WSL，并参考 text-generation-webui 的安装说明。注意 WSL 路径下仍可能出现其他错误，不能保证一次解决全部问题。

验证方法

在安装或调整完成后，重新启动 TextGen WebUI，观察启动日志中是否仍出现 Not using CUDA。更直接的验证方式是在同一 conda 环境中运行 python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"，如果版本号不再带 +cpu 且 torch.cuda.is_available() 返回 True，说明 PyTorch 已能调用 CUDA。随后实际加载模型，确认推理时 GPU 有显存占用。