Performance regression with FA2 and long-context generation after 5.2.0

快速结论：此性能回退发生在使用 FlashAttention2（FA2）进行长上下文生成的场景中，transformers 版本从 5.2.0 升级到 5.4.0 后，生成耗时增加了约 17%。优先排查 _get_unpad_data 函数中 max_seqlen_in_batch 是否缺少 .item() 调用，该调用在 5.2.0 中存在，但在后续版本中被移除。

问题场景

用户在使用 Hugging Face Transformers 库、FlashAttention2（FA2）、以及 Qwen3VL-2B-Thinking 模型进行长上下文视频理解生成任务时，发现 transformers 5.4.0 版本相比 5.2.0 版本生成耗时增加了 17% 以上。该现象在 KV 缓存足够大、GPU 内存带宽饱和时变得显著。使用 SDPA（scaled dot-product attention）时未出现此回退。

报错原文

N/A — 此为性能回退（performance regression），无报错信息。预期结果对比：
- v5.2.0 FA2 = 92 sec
- v5.4.0 FA2 = 108 sec (+17% overhead)
- v5.2.0 SDPA = 136 sec
- v5.4.0 SDPA = 136 sec (no change)

原因分析

经过逐行二分定界，主要原因可以追溯到 PR #42435 中对 _get_unpad_data 函数的修改。在该函数中，计算 max_seqlen_in_batch 时，去除了原有的 .item() 调用（该调用将张量标量转换为 Python 标量）。尽管 .item() 本身会引入开销，但移除它之后，后续的 _index_first_axis 或 index_select 调用触发了意想不到的性能回退——可能原因包括：

底层 kernel dispatch 路径发生变化，导致针对设备张量的操作触发额外的隐式同步。
由于缺少 .item()，异步 kernel 队列出现积聚，导致 GPU 利用率下降。
该现象具有 GPU 依赖性：在 RTX 6000 PRO 上影响显著（~17%），在 RTX 4090 上影响不明显，在 DGX 平台（使用 kernels 包提供的 FA2）上也有发生。

另外，即使回滚此改动，当前 main 分支的性能与 5.2.0 基准相比仍存在残余差异，暗示可能还存在次要贡献因素。

环境排查

transformers 版本：5.4.0（回退严重） vs 5.2.0（性能正常）—— 5.3.0 因其他 bug 未测试
PyTorch 版本：2.12
flash-attn 版本：2.8.3
CUDA 版本：13.2
cuDNN 版本：9.20.0.48
GPU 型号：NVIDIA RTX 6000 PRO（回退显著）、RTX 4090（回退较轻）、DGX/各类 GPU
Python 版本：3.12
Kernels 包：kernels==0.14.1（安装后性能略有改善，但回退依然存在）

解决步骤

定位问题代码：检查 transformers/src/transformers/utils/import_utils.py 中的 is_tracing 调用。但已确认将其设为 False 不会影响生成延迟，故非根本原因。
检查 _get_unpad_data 函数：定位到该函数中的 max_seqlen_in_batch 变量。在 _index_first_axis 调用之前，手动添加 .item() 调用：
max_seqlen_in_batch = max_seqlen_in_batch.item()
（注意：.item() 将张量标量转换为 Python 标量，可解决 kernel 调度路径问题）
使用分支修复：拉取 GitHub 上的修复 PR #47134（草稿状态），该 PR 明确回滚了 _get_unpad_data 中移除 .item() 的变更。
全量验证：在多款 GPU（RTX 6000 PRO、RTX 4090、A100）上运行原 Issue 给出的基准测试代码，确认修复后性能恢复至 5.2.0 水平。
排查残余偏差：如果修复后仍存在微小性能差异，使用 torch.profiler 或 nsys 对 flash_varlen_fn 调用进行深入分析，比较 5.2.0 和修复版本的 profiling 结果。

注意：步骤 2 中的 .item() 修复方案为可优先尝试的临时解决方案。

验证方法

运行 Issue 中附带的完整基准测试代码，对比 transformers 5.2.0 和修复版本（或手动应用 .item() 补丁的版本）的生成时间。关键观察指标：

对于长上下文（例如 16K tokens）的 FA2 生成，修复后耗时应回落至 ~92 秒（与 5.2.0 基准一致），而非 5.4.0 的 ~108 秒。
对于 SDPA 注意力，耗时应保持在 ~136 秒，不受修复影响。
如果在多 GPU 环境下，需确保各 GPU 的耗时均有恢复，尤其是 RTX 6000 PRO 等受影响显著的设备。

参考来源

huggingface/transformers #46693

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

Performance regression with FA2 and long-context generation after 5.2.0