标签： Transformer

在 Ascend NPU（torch_npu）上使用 Diffusers 的 RMSNorm 且设置 elementwise_affine=False （即 weight=None ）时，NPU 分支会把 None 传给 torch_npu.npu_rms_norm ，而该算子要求 gamma 必须

这个 SIGSEGV 通常出现在 macOS Apple Silicon（MPS）上，用 device_map="auto" 加载 bf16 权重、同时强制 dtype=torch.float32 触发权重转换时。异步加载线程池内有多个 worker 并发做 MPS 转换会踩到竞态；优先排查是否命中

这个报错/异常通常出现在加载那些 tokenizer_config.json 里同时带有 additional_special_tokens 和 extra_special_tokens 两个键的 checkpoint 时，Transformers 在 from_pretrained 过程中会把 a

该报错通常出现在 CPU + 多进程（如 torchrun + gloo）场景下用 Trainer 从 checkpoint 恢复训练时，加载 optimizer state 的过程中失败。优先排查 map_location 是否被传成了带索引的 CPU 设备（如 cpu:0 ），而不是纯 "cpu

该问题出现在 Apple MPS 后端上，当 value head dim 与 query head dim 不一致时，PyTorch 的 scaled_dot_product_attention 会返回未初始化的内存以及错误形状，从而触发 [MPS] Upstream correctness is

这个报错通常出现在你用 DistributedConfig(fsdp_size=N) 在加载时就把模型 FSDP2 分片，然后把已分片的模型交给 Trainer 训练的场景。此时 accelerate 的 prepare_model 仍按 DDP 分支处理，撞上 DTensor 检查而报错。优先排查

这个报错通常出现在 5.x 版本用 AutoTokenizer 加载 llama 风格、但词表实际为 ByteLevel-BPE（用 Ġ 做词边界）的模型时，例如 deepseek-ai/deepseek-math-7b-rl ：编码会静默丢掉空格，解码输出 'weneedtoadd9and6' ，

这个报错通常出现在加载 Qwen4-系列 FP8 量化模型（如 Qwen3.8-Flash-Next-FP8）并运行前向时，n-gram（PLE）embedding 表以 FP8 存储，但 gather 出来的行没有反量化，导致下游 bf16 模块 dtype 不匹配。优先排查 embedding

当你在 Transformers 里用 get_json_schema 把带类型注解的 Python 函数转成工具 schema、且某个参数的类型注解是 Union（ | ）并包含 list[...] 、 dict[...] 、 tuple[...] 或 Literal[...] 时，生成的 JSO