标签： Transformer

当你在同一目录里先保存带 variant 的分片权重，再保存默认权重（或反向切换分片/单文件布局）时， save_pretrained 的旧权重清理逻辑会误删另一 variant 的分片，并可能留下过期的 index，导致原本可加载的权重再次加载时报 save_pretrained can dele

这个报错通常出现在未训练过的 Trainer 上直接调用 evaluate() 或 predict() ，且使用 FSDP2 的场景：评估流程只准备模型、不准备优化器，而 FSDP2 要求模型和优化器一起传给 Accelerator.prepare() 。优先排查是否在 FSDP2 下走了“仅模型”

该报错出现在 Transformers `generation` 测试将模型权重迁移到 CUDA 设备的 `setUp` 阶段，31 个集成测试同时报 CUDA device-side assert。优先排查此前 kernel 遗留的越界索引，而不是把问题归因于 `.to("cuda")` 本身。

该报错通常出现在 PyTorch 版本低于 Transformers 当前要求（Issue 中为 2.6）时，加载 ViT 等模型会触发 transformers/integrations/accelerate.py 中 nn 未导入的 NameError；优先排查 PyTorch 版本是否过低。

这个报错通常出现在用独立 Python venv 安装 TextGen WebUI 后启动 server.py 时，导入链在加载模块阶段找不到 huggingface_hub 中的 HfFolder 。优先排查 huggingface_hub 的版本是否与当前 TextGen WebUI 代码不匹配

该报错通常出现在使用 Transformers 的 apply_chat_template 生成对话模板、且用户消息中含有形如 、 的特殊 token 时：用户内容里的特殊 token 没有在模板渲染阶段被转义，因此在 tokenize=True 时被当作控制 tok

使用 DiffusionGemma 做批量推理时，如果逻辑输入完全相同，只是物理 batch size 不同，却得到不同输出文本，这通常属于批次形状变化引起的数值差异，不是采样参数问题。优先确认差异是否首先出现在 MoE router projection（F.linear）和 self-condi

该问题出现在 Transformers 加载 Gemma4 音频编码器并使用 eager 注意力实现时。音频注意力把浮点加法掩码误当成布尔掩码取反，导致整段音频输出退化；优先排查并升级到已修复版本，或临时把音频编码器的注意力实现切换为 sdpa 。