ModuleNotFoundError: No module named ‘auto_gptq’

问题场景

用户在 Windows 上通过 one-click installer 下载并安装 oobabooga TextGen WebUI（CPU 模式），下载了 GGUF 模型 yarn-mistral-7b-128k.Q4_K_M.gguf，随后在 WebUI 中尝试加载该模型时，加载过程直接失败并抛出异常。

报错原文

ModuleNotFoundError: No module named 'auto_gptq'

Traceback (most recent call last):

File "...\text-generation-webui\modules\ui_model_menu.py", line 214, in load_model_wrapper

File "...\text-generation-webui\modules\models.py", line 90, in load_model

File "...\text-generation-webui\modules\models.py", line 280, in llamacpp_loader

File "...\text-generation-webui\modules\llamacpp_model.py", line 67, in from_pretrained

File "...\text-generation-webui\modules\llama_cpp_python_hijack.py", line 46, in llama_cpp_lib

File "...\llama_cpp_cuda\llama_cpp.py", line 38, in <module>

File "...\llama_cpp_cuda\_ctypes_extensions.py", line 56, in load_shared_library

File "...\installer_files\env\lib\os.py", line 1118, in add_dll_directory

FileNotFoundError: [WinError 2] The system cannot find the file specified: 'E:\Draft2books\oobabooba\one-click-installers-oobabooga-windows\installer_files\env\bin'

原因分析

根据 Issue 评论，最可能的原因是安装环境没有完整安装依赖。评论者指出“You didn’t install all your requirements it seems”，并明确点名 ModuleNotFoundError: No module named 'auto_gptq' 这条缺失模块报错。此外，traceback 中还有 FileNotFoundError，指向 installer_files\env\bin 目录不存在，这可能是原因之一，也可能是依赖安装不完整导致的连带结果。

环境排查

• 确认使用的是 Windows + one-click installer 安装的 TextGen WebUI。
• 确认当前模式为 CPU 模式（Issue 中用户自述）。
• 确认是否完整执行过安装脚本、requirements 是否全部安装成功。
• 确认加载模型时选择的 loader 是否为 llama.cpp（GGUF 模型对应 loader）。
• 确认 installer_files\env\bin 路径是否真实存在。
• Python、CUDA、PyTorch 版本在 Issue 中未提供，无法进一步核对。

解决步骤

1. 先确认依赖是否完整安装：检查安装时是否有中断、报错或被跳过的依赖，重点是 auto_gptq 这类被评论点名的缺失模块。
2. 按评论建议，尝试更换 loader，例如改用 autogptq 而不是当前的 transformers。此步骤属于“可优先尝试”，Issue 中未最终验证。
3. 如果仍然报 FileNotFoundError: [WinError 2] ... installer_files\env\bin，检查该目录是否存在，确认安装路径与 traceback 中路径一致。
4. 若依赖缺失或目录缺失，可能需要重新完整执行一次安装流程（注意：Issue 中并未给出具体安装命令，此处不列出命令）。
5. 若以上仍无法解决，携带完整 traceback 与安装日志到 Issue 或社区求助。

验证方法

重新在 WebUI 中加载同一 GGUF 模型，若不再出现 ModuleNotFoundError: No module named 'auto_gptq'，且加载流程能走到模型成功载入、可以正常推理，即视为问题已解决。如果仅第一条消失但 FileNotFoundError 仍存在，说明环境问题尚未完全修复。

参考来源

oobabooga/textgen #4602

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。