ValueError: TimmWrapperModel does not support an attention implementation through

快速结论：这个报错发生在使用 Transformers 加载带 TimmWrapperModel 子骨干的模型（如 facebook/Perception-LM-1B）并指定 attn_implementation=”sdpa” 时。优先排查是否为模型加载时传入全局 sdpa 参数引发，改用按骨干（backbone）分别指定注意力实现的字典参数即可绕过。

适用环境：Transformers 5.15.0.dev0（以及 5.14.0 文档对应版本）；PyTorch 2.14.0.dev20260719+xpu；使用 XPU 设备；模型 facebook/Perception-LM-1B（TimmWrapper 子骨干）。

最快修复方案：Issue 维护者明确建议按骨干分别指定注意力实现，已验证可用：attn_implementation={"vision_config": "eager", "text_config": "sdpa"}，将 Timm 视觉骨干设为 eager，文本骨干保持 sdpa。

注意事项：该方案会让 Timm 视觉骨干走 eager 注意力，而非 SDPA。当前 Timm 库内部默认已通过 use_fused_attn() 使用 SDPA，但 Transformers 的 TimmWrapper 尚不支持通过全局 attn_implementation 参数控制；若要动态切换 Timm 的注意力实现，需等待 Timm 库新增相应特性，运行环境变量 TIMM_FUSED_ATTN 会全局影响所有 Timm 模型，不建议在运行时强制设置。

问题场景

用户在使用 Transformers 加载包含 TimmWrapper 子骨干的多模态模型（facebook/Perception-LM-1B）时，通过 AutoModel.from_pretrained(..., attn_implementation="sdpa") 希望启用 SDPA 注意力，但模型加载阶段直接抛出 ValueError。该问题同样会出现在调用 benchmark 脚本 run_benchmarks.py 或任何以全局 sdpa 方式加载此类模型的场景中。

报错原文

ValueError: TimmWrapperModel does not support an attention implementation through
torch.nn.functional.scaled_dot_product_attention yet.

原因分析

可能原因如下：

TimmWrapperPreTrainedModel 继承了 PreTrainedModel 的默认属性 _supports_sdpa = False，导致 Transformers 内部的 _sdpa_can_dispatch() 检查在加载模型时直接抛错。
Timm 模型内部其实已经通过 use_fused_attn() 调用 F.scaled_dot_product_attention 使用 SDPA，但这与 Transformers 的注意力调度机制完全独立，两者互不感知。
由于 TimmWrapperModel 的 forward 直接委托给 self.timm_model.forward_features(...)，并不会把 attn_implementation 参数传递给 Timm 模型，因此 Transformers 层面的 sdpa 参数对 Timm 内部不生效。
加载时动态检查不可行的原因：_sdpa_can_dispatch() 在 PreTrainedModel.__init__ 中被调用，而 self.timm_model 在 super().__init__() 之后才创建，调整顺序会破坏初始化流程。

环境排查

Transformers 版本：确认是否为 5.15.0.dev0 或 5.14.0 及以上版本（按骨干指定 attention 的文档在 v5.14.0 中已提供）。
PyTorch 版本：Issue 中为 2.14.0.dev20260719+xpu。
torchvision：0.29.0.dev20260720+xpu。
torchaudio：2.11.0.dev20260720+xpu。
设备：XPU（Intel GPU 相关）。
模型：facebook/Perception-LM-1B（依赖 TimmWrapper 子骨干）。

解决步骤

将全局 attn_implementation="sdpa" 改为按骨干分别指定的字典格式：attn_implementation={"vision_config": "eager", "text_config": "sdpa"}。
重新执行模型加载：AutoModel.from_pretrained('facebook/Perception-LM-1B', attn_implementation={"vision_config": "eager", "text_config": "sdpa"})。
如果对 Timm 骨干的运行性能有更高要求，可优先尝试在 Timm 库中新增动态注意力切换功能后再考虑将 vision_config 设为 sdpa（需等待 Timm 上游支持，可优先尝试联系 Timm 维护者或提交 PR）。
避免在运行时强制设置 TIMM_FUSED_ATTN=0/1 环境变量，因为该变量会全局影响所有 Timm 模型，而非仅影响当前需要调整的模型。

验证方法

重新运行模型加载命令，确认不再抛出 ValueError: TimmWrapperModel does not support an attention implementation through 报错。同时检查加载后的模型，确认 Timm 视觉骨干走 eager 路径、文本骨干使用 sdpa，模型可以正常完成前向推理。