Moving in a folder & `push_to_hub` for a `trust_remote_code=True` model

这个 Issue 标题 Moving in a folder & `push_to_hub` for a `trust_remote_code=True` model 对应两个诉求:自定义模型通过 trust_remote_code=True 加载时,无法使用 .. 向上引用仓库里的其他 Pytho

快速结论:这个 Issue 标题 Moving in a folder & `push_to_hub` for a `trust_remote_code=True` model 对应两个诉求:自定义模型通过 trust_remote_code=True 加载时,无法使用 .. 向上引用仓库里的其他 Python 文件;同时 push_to_hub 保存微调结果时,不会自动带上 modeling_flash_t5.py 及其相对导入的文件。优先排查 Transformers 是否已包含 #37716 的修复,并把自定义模块放到仓库根目录,避免子目录导入失败。

适用环境:Hugging Face Transformers;涉及 trust_remote_code=True 动态加载远程代码模型、push_to_hub / save_pretrained。Issue 中未确认操作系统、Python、CUDA、显卡等信息,不补充。

最快修复方案:针对第一个请求,暂无官方修复;Issue 中用户验证过的绕行方案是:把 utils 目录里的代码移到 modeling_flash_t5.py 同级根目录,并把 ..utils.positional_encoding import ... 改为 .positional_encoding import ...。针对第二个请求,官方表示已经通过 #37716 修复:加载远程代码模型后,save_pretrained / push_to_hub 会复制 modeling 文件以及它相对导入的所有文件。

注意事项:.. 在 Hub 仓库上会指向仓库根目录之外,官方明确表示无法支持;使用子目录导入 from .utils.positional_encoding import ... 目前仍会失败。第二个修复依赖包含 #37716 的 Transformers 版本,Issue 未给出具体版本号,升级后应重新验证。

问题场景

用户使用 Hugging Face Transformers 加载并微调自定义 T5 模型。为了让 Flash Attention 扩展到 T5,用户开发了自定义实现 modeling_flash_t5.py,并将其与 utils 工具目录一起推送到 Hugging Face Hub。加载时使用:

from transformers import AutoModel
model = AutoModel.from_pretrained("CATIE-AQ

参考来源

huggingface/transformers #29714

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 16299

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注