标签： 人工智能

在 transformers 5.16.1 中使用 Phi3ForCausalLM + LongRoPE 生成时，一旦输入长度跨过 original_max_position_embeddings 这个“短/长”切换点，prepare_inputs_for_generation 会清空 KV cac

当使用 T5Tokenizer 这类基于 SentencePiece 的 tokenizer 加载没有 precompiled_charsmap 的 protobuf 序列化 spiece.model 时，会触发 “Cannot parse precompiled_charsmap” 报错；优先排查

这个报错通常出现在对 Transformers 模型（尤其是 DeBERTa / DeBERTa-v2）使用 torch.func 的 vmap、grad、jvp、jacrev 等函数变换时：旧版模型的注意力实现依赖自定义 torch.autograd.Function ，而它没有实现 setup_