[Feature] Will there be any integration of using Flex-attention (and Paged attention)?

快速结论：该功能请求在 Transformers 库中关注集成 PyTorch 的 FlexAttention 和 PagedAttention 以加速模型推理。目前，这两个功能都已在 Transformers 中实现，无需额外 Issue 讨论。

问题场景

用户在 GitHub Issue 中询问 Hugging Face Transformers 库是否会集成 FlexAttention（基于 torch.compile 的高性能注意力机制，支持因果掩码、相对位置编码、Alibi、滑动窗口、PrefixLM、Tanh Soft-Capping 及 PagedAttention 等变体）和 PagedAttention（用于 KV 缓存管理），以提升 Llama、Mistral、Gemma 等模型的推理速度和灵活性。

报错原文

Will there be any integration of using Flex-attention (and Paged attention) to speedup transformers models and provide flexibility?

原因分析

可能原因：这是一个功能请求，并非报错。用户在 Issue 发布时，FlexAttention 和 PagedAttention 在 PyTorch 中仍处于原型阶段（prototype），社区关注其在 Transformers 中的集成时间表。维护者指出，集成需要等待 API 进入 beta 或稳定阶段，以避免频繁的 bug 修复（如内存泄漏）影响。后续已实现。

环境排查

确认 Transformers 版本 ≥ v5.14.0（此版本已支持 FlexAttention 作为一等注意力后端，以及 PagedAttention 的连续批处理集成）。
确认 PyTorch 版本 ≥ 2.5.0（FlexAttention 依赖 torch.compile，需 PyTorch 编译支持）。
确认 CUDA 版本和 GPU 兼容性（FlexAttention 和 PagedAttention 需要 CUDA 支持的设备）。

解决步骤

对于 FlexAttention：在模型加载时传递 attn_implementation="flex_attention"，例如 model = AutoModelForCausalLM.from_pretrained("model_name", attn_implementation="flex_attention")。该后端已支持大多数模型（如 Llama、Mistral、Gemma 等）。
对于 PagedAttention：使用 Transformers 的连续批处理（continuous batching）功能，参考官方文档。该功能集成了 Issue #34809 中引用的 PyTorch PagedAttention 实现。
如果遇到集成后的具体问题，请提交新的 Issue 并附上最小复现示例。

验证方法

确认相关模型在加载时能成功调用 FlexAttention 后端（可通过日志或 model.config._attn_implementation 检查），或连续批处理功能正常执行并利用 PagedAttention 管理 KV 缓存。

参考来源

huggingface/transformers #34527
相关合并 PR：#34809
FlexAttention 文档：Attention 接口文档

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

[Feature] Will there be any integration of using Flex-attention (and Paged attention)?