MiniMax lightning attention: decay recurrence runs in bf16, so slow-decay heads never decay and decode drifts with length

这个报错通常出现在以 bf16 加载 MiniMax 系列检查点(如 MiniMax-Text-01、MiniMax-M1-40k/80k)并做长序列解码时。核心问题是 MiniMax lightning attention 的 decay recurrence 在 bf16 下运行,导致部分注意力

快速结论:这个报错通常出现在以 bf16 加载 MiniMax 系列检查点(如 MiniMax-Text-01、MiniMax-M1-40k/80k)并做长序列解码时。核心问题是 MiniMax lightning attention 的 decay recurrence 在 bf16 下运行,导致部分注意力头的衰减因子被舍入成 1.0,慢衰减头永久不遗忘。优先排查加载 dtype 与 slope_rate 缓冲区的精度,报错关键句为 MiniMax lightning attention: decay recurrence runs in bf16, so slow-decay heads never decay and decode drifts with length。

适用环境:Issue 已确认 transformers main @ 4692303、torch 2.11、CPU;模型为 MiniMax 系列(含 linear_attention 层)。Issue 未提供 GPU、CUDA 或 Python 版本信息,不要自行补写。

最快修复方案:暂无确认的一步修复方案。Issue 中的结论是把 decay 递推(ratio = torch.exp(-self.slope_rate) 与 attn_weights_inter = ratio * attn_weights_inter + kv)改为 fp32 运行,与 vLLM 参考实现一致;但该改动在 Issue 关闭时尚未合并验证。可优先尝试参考下方步骤逐个核对精度。

注意事项:fp32 递推会增加显存占用与计算开销,长上下文场景更明显。是否只需把 slope_rate 与 KV 状态升到 fp32、还是保留其他部分 bf16,Issue 未给出最终定论,需以实际 PR 为准。

问题场景

用户使用 Transformers 加载 MiniMax 系列的 pre-trained 检查点(MiniMaxAI/MiniMax-Text-01-hf、MiniMax-M1-40k-hf、MiniMax-M1-80k-hf),并按推荐用 from_pretrained(..., dtype=torch.bfloat16) 运行。模型中含 70 个 lightning(linear attention)层,解码长度增长后输出出现漂移。Issue 用一个小型 CPU 复现实验对比 fp32 与 bf16 的 last hidden state 差异,验证了漂移随长度扩大。

报错原文

MiniMax lightning attention: decay recurrence runs in bf16, so slow-decay heads never decay and decode drifts with length

heads whose bf16 decay is exactly 1.0, per layer: [0, 0, 1, 8]
decode 500 tokens: bf16 vs fp32 relative error 3.31e-02
decode 3000 tokens: bf16 vs fp32 relative error 7.39e-02

原因分析

已确认的原因:MiniMaxLightningAttention 的衰减递推跟随模型 dtype。bf16 在 1 附近的最小间隔为 2-8,因此:

  • 衰减因子 ≥ 约 0.998 会被舍入为正好 1.0,对应头永不遗忘;
  • 约 0.996–0.998 之间的因子会被舍入为 0.996,对应头遗忘速度约快至 2 倍;
  • bf16 状态乘以如 0.9987 的因子后,因变化小于半个 ulp,可能完全不改变。

slope_rate 进入 bf16 的路径:已发布的检查点不含 slope_rate / *_decay 张量(8243 个 key 中 0 个),加载时由 _init_weights 重建,而 get_slope_rate 未显式指定 dtype,于是继承加载 dtype。在发布的 config 上统计,bf16 下有 388 / 4480 个头(8.7%)分布在 33 / 70 层中衰减被舍入为 1.0;fp16 下为 39 个头、4 层。作为对照,vLLM 将 slope_rate 转为 torch.float32,并在 fp32 下执行 decay 与 KV 状态计算。

环境排查

  • 确认 transformers 版本(Issue 基于 main @ 4692303)。
  • 确认 torch 版本(Issue 为 2.11)。
  • 确认加载 dtype 是否为 torch.bfloat16,以及模型是否存在 linear_attention 层。
  • 确认检查点是否缺少 slope_rate / query_decay / key_decay / diagonal_decay 等 key(Issue 称已发布检查点均缺失)。
  • 统计各层 torch.exp(-layer.self_attn.slope_rate) == 1 的头数,作为精度异常的判定依据。
  • Issue 未提供 CUDA、显卡、Python 版本,排查时无需引入这些条件。

解决步骤

  1. 先用 Issue 的统计方法检查当前加载模型的衰减精度:逐个 linear_attention 层计算 torch.exp(-layer.self_attn.slope_rate),统计等于 1.0 的元素数。若存在非零值,即命中该问题。
  2. 用 fp32 在同输入上做对照解码(Issue 的 decode_last_hidden 思路),比较 bf16 与 fp32 的 last hidden state 相对误差,确认漂移随序列长度扩大。
  3. 可优先尝试将 slope_rate 与递推状态 attn_weights_inter 保持为 fp32,仅在写出时再转回模型 dtype。参照 vLLM 做法:slope_rate = slope_rate.to(torch.float32),decay 与 KV 状态在 fp32 下计算。
  4. 若改动 transformers 源码,按贡献规范改 modular_minimax.py,再重新生成 modeling_minimax.py,不要只改自动生成文件。
  5. 以 Issue 复现脚本回归:bf16 下衰减为 1.0 的头数应显著下降,且 500 / 3000 token 的 bf16 对 fp32 相对误差应明显小于 3.31e-02 / 7.39e-02。

验证方法

重新运行 Issue 中的复现脚本,观察两点:其一,heads whose bf16 decay is exactly 1.0, per layer 的输出应不再出现 8.7% 级别的异常头数;其二,decode 500 tokens 与 decode 3000 tokens 的 bf16 对 fp32 相对误差应随修复而收敛,且不再随长度显著增长。修复在 Issue 关闭时尚未合并验证,最终以对应 PR 的测试结果为准。

参考来源

huggingface/transformers #49289

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36725

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注