标签： Transformer

这个报错通常出现在多卡、单机多进程的 FSDP2 训练场景中：用户启用了 cpu_ram_efficient_loading （ FSDP_CPU_RAM_EFFICIENT_LOADING=1 ），本以为只有 rank-0 在 CPU 上加载权重、再广播给其他 rank，但 from_pretra

该报错通常出现在 InvokeAI 使用文本反演（Textual Inversion / TI）嵌入生成图片时， ModelPatcher.apply_ti 在没有持有 MODEL_LOAD_LOCK 的情况下构建 nn.Embedding 并安装全局 skip_torch_weight_init

该问题通常出现在 InvokeAI 加载一个尚未进入模型缓存的 SDXL 模型、并且该 CLIP 文本编码器的 首次前向 就带 CLIP skip 执行时。此后这个缓存实例的每一步前向都会少一层 hidden_states ，SDXL 条件向量静默取到错误的层，图像照常生成但不报错。优先排查的是“首

在 transformers 5.21.1（以及 main）中加载 PaliGemma 2 时，模型会忽略文本配置里的 final_logit_softcapping，导致 PaliGemma 2 ignores final_logit_softcapping。优先确认你的 PaliGemma 2

该问题出现在使用 Transformers Trainer 进行模型并行（TP/CP/SP）训练时，有效 token 数无法被并行度整除会被地板除截断，导致 loss、梯度范数和优化器更新被静默放大；优先检查 _get_num_items_in_batch() 中的整除逻辑，并核对有效 token

该报错出现在 InvokeAI 的 Qwen-Image Edit 模式、使用 transformers 5.x 调用 Qwen2.5-VL 文本编码器时：编码器只传了 input_ids、attention_mask、pixel_values 和 image_grid_thw，没有传 mm_tok

安装 torch 2.14 及以上版本（其 .dist-info 已不再包含 top_level.txt ）时， import transformers 会在模块导入阶段同步执行 importlib.metadata.packages_distributions() ，触发对每个 RECORD 文件

该警告出现在导入 DeBERTa-v2 建模模块时，由六个 @torch.jit.script 装饰的辅助函数触发；若项目将 FutureWarning 设为 error ，导入会直接失败，优先排查装饰器与 torch 版本组合。上游已通过 PR #50082 移除装饰器处理。

用 LlamaForQuestionAnswering 或 AutoModelForQuestionAnswering 从 Llama 家族基础模型/CausalLM 检查点加载时，加载器无法把 model.* 权重映射到 QA 头的 transformer.* 参数，导致主干层静默随机初始化。优先