标签： Transformer

在 transformers v5 中， AutoTokenizer.from_pretrained() 会按 tokenizer_config.json 里的 tokenizer_class 直接实例化 slow 分词器（如 GPT2Tokenizer 、 LlamaTokenizer ），而没有

该报错出现在 ImageGPTModel 开启 add_cross_attention=True 后走编码器-解码器跨注意力（cross-attention）分支的场景，核心是解码器长度与编码器长度在 non-singleton dimension 3 上不匹配；优先排查 ImageGPTModel

该报错通常出现在直接调用 WhisperForConditionalGeneration.generate() 、且没有显式传入 generation_config 的场景。优先排查 transformers 是否处于 #48282 之后的版本，以及模型 config.json 中是否带有 supp

这个报错通常发生在 CPU-only 环境（无 CUDA、无 MPS）安装 transformers 5.19.0 后，导入模型或 AutoTokenizer 时因 torch 版本差异触发。优先确认 torch 版本是否为 2.5.x 或 2.6.x，并检查 get_device_type() 是

该 Issue 是一份针对 Transformers 的 RFC（请求意见稿），标题为 [RFC] Add `modeling_xxx_fusion.py` to support kernel fusion，讨论的是通过新增 `modeling_xxx_fusion.py` 文件为模型提供 kern

在 transformers 5.16.1 中使用 Phi3ForCausalLM + LongRoPE 生成时，一旦输入长度跨过 original_max_position_embeddings 这个“短/长”切换点，prepare_inputs_for_generation 会清空 KV cac

当使用 T5Tokenizer 这类基于 SentencePiece 的 tokenizer 加载没有 precompiled_charsmap 的 protobuf 序列化 spiece.model 时，会触发 “Cannot parse precompiled_charsmap” 报错；优先排查

这个报错通常出现在对 Transformers 模型（尤其是 DeBERTa / DeBERTa-v2）使用 torch.func 的 vmap、grad、jvp、jacrev 等函数变换时：旧版模型的注意力实现依赖自定义 torch.autograd.Function ，而它没有实现 setup_

这个报错通常出现在使用 WatermarkDetector 并启用 ignore_repeated_ngrams=True 时，检测器仍把重复的 token 窗口计入 num_tokens_scored ，导致重复 bigram 被重复统计。优先排查检测器是否对重复 n-gram 做了预期中的去重处