标签： Python

这个报错/异常通常出现在加载那些 tokenizer_config.json 里同时带有 additional_special_tokens 和 extra_special_tokens 两个键的 checkpoint 时，Transformers 在 from_pretrained 过程中会把 a

该报错通常出现在 CPU + 多进程（如 torchrun + gloo）场景下用 Trainer 从 checkpoint 恢复训练时，加载 optimizer state 的过程中失败。优先排查 map_location 是否被传成了带索引的 CPU 设备（如 cpu:0 ），而不是纯 "cpu

该问题出现在 Apple MPS 后端上，当 value head dim 与 query head dim 不一致时，PyTorch 的 scaled_dot_product_attention 会返回未初始化的内存以及错误形状，从而触发 [MPS] Upstream correctness is