Could not import module ‘Qwen3_5ForCausalLM

问题场景

用户运行 Hugging Face Transformers 脚本，通过 AutoModelForCausalLM.from_pretrained 加载自定义代码仓库 NemoStation/Marlin-2B，并设置 trust_remote_code=True。首次运行或特定硬件环境下触发模块导入失败。

报错原文

Could not import module 'Qwen3_5ForCausalLM

原因分析

从 Issue 讨论链路推断，该报错可能并非 Transformers 主库的通用问题，而是与远程仓库自身代码兼容性及本地环境相关。具体可能原因包括：

• 模型仓库为 Gated（受限）状态，未授权时仓库内的自定义代码无法正常下载或执行，导致用户侧导入失败。
• 缺少 accelerate 库，使用 device_map 时引发异常，附带触发自定义模块导入失败。
• 自定义模型的导入与本地 GPU 算力/驱动版本有关。有用户反映在 RTX 4060 上完整复现代码不报错，而 RTX 3060 则失败，但该说法缺乏官方解释和技术细节验证。
• 远程仓库代码可能依赖 Transformers 的特定分支或未发布版本，用户在尝试 transformers==5.9.0 后问题依旧，但作者在评论中表示按其提供脚本验证可正常运行。

环境排查

• 确认 Hugging Face 账号已登录，且对 NemoStation/Marlin-2B 仓库拥有访问权限（Gated Repo 需在网页端申请并通过）。
• 检查环境变量 HF_TOKEN 是否已正确配置且有效。
• 确认 Python 环境中已安装 accelerate（使用 device_map 时的必要依赖）。
• 核对 GPU 型号与 CUDA 工具链版本。若报错集中在 RTX 3060 上，可尝试在不同算力（如 Ampere 架构较新驱动）或更高规格显卡上复现对比。
• 确认 Transformers 版本与远程仓库（trust_remote_code=True）中代码所需求的版本兼容。

解决步骤

1. 访问 https://huggingface.co/NemoStation/Marlin-2B，填写并提交仓库访问表单（自动批准通常即时生效）。
2. 在运行环境中完成登录与认证，可通过设置环境变量 HF_TOKEN 或执行 hf auth login（此处仅指代 Issue 中提及的官方 CLI 登录命令，具体操作以 Hugging Face 官方文档为准）实现。
3. 确认 accelerate 已安装。使用 device_map 参数必须依赖该库，缺失时可能导致加载中断或间接引发模块导入异常。
4. 在符合条件的环境中重跑原始加载脚本，验证以上权限与依赖确认无误后是否仍触发相同报错。
5. 若仅在特定低端显卡上复现，可优先尝试更换硬件环境（如使用 RTX 4060 或更高算力显卡）以判断是否为 GPU 驱动/架构兼容性问题（此步骤为可优先尝试的替代方案）。
6. 若问题依旧，建议收集完整 Python 回溯信息（Traceback）并向模型仓库作者提交 Issue，附上可复现的最小脚本与完整日志。

验证方法

完成上述权限配置与依赖安装后，重新执行用户提供的加载脚本，若不再抛出 Could not import module 'Qwen3_5ForCausalLM 且模型能正常返回，即确认问题已解决。若触发错误的根本原因与显卡型号绑定，更换硬件环境后再执行即可验证。

参考来源

huggingface/transformers #46218

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。