快速结论:这个报错通常出现在以 bf16 加载 MiniMax 系列检查点(如 MiniMax-Text-01、MiniMax-M1-40k/80k)并做长序列解码时。核心问题是 MiniMax lightning attention 的 decay recurrence 在 bf16 下运行,导致部分注意力头的衰减因子被舍入成 1.0,慢衰减头永久不遗忘。优先排查加载 dtype 与 slope_rate 缓冲区的精度,报错关键句为 MiniMax lightning attention: decay recurrence runs in bf16, so slow-decay heads never decay and decode drifts with length。
适用环境:Issue 已确认 transformers main @ 4692303、torch 2.11、CPU;模型为 MiniMax 系列(含 linear_attention 层)。Issue 未提供 GPU、CUDA 或 Python 版本信息,不要自行补写。
最快修复方案:暂无确认的一步修复方案。Issue 中的结论是把 decay 递推(ratio = torch.exp(-self.slope_rate) 与 attn_weights_inter = ratio * attn_weights_inter + kv)改为 fp32 运行,与 vLLM 参考实现一致;但该改动在 Issue 关闭时尚未合并验证。可优先尝试参考下方步骤逐个核对精度。
注意事项:fp32 递推会增加显存占用与计算开销,长上下文场景更明显。是否只需把 slope_rate 与 KV 状态升到 fp32、还是保留其他部分 bf16,Issue 未给出最终定论,需以实际 PR 为准。
问题场景
用户使用 Transformers 加载 MiniMax 系列的 pre-trained 检查点(MiniMaxAI/MiniMax-Text-01-hf、MiniMax-M1-40k-hf、MiniMax-M1-80k-hf),并按推荐用 from_pretrained(..., dtype=torch.bfloat16) 运行。模型中含 70 个 lightning(linear attention)层,解码长度增长后输出出现漂移。Issue 用一个小型 CPU 复现实验对比 fp32 与 bf16 的 last hidden state 差异,验证了漂移随长度扩大。
报错原文
MiniMax lightning attention: decay recurrence runs in bf16, so slow-decay heads never decay and decode drifts with length
heads whose bf16 decay is exactly 1.0, per layer: [0, 0, 1, 8]
decode 500 tokens: bf16 vs fp32 relative error 3.31e-02
decode 3000 tokens: bf16 vs fp32 relative error 7.39e-02
原因分析
已确认的原因:MiniMaxLightningAttention 的衰减递推跟随模型 dtype。bf16 在 1 附近的最小间隔为 2-8,因此:
- 衰减因子 ≥ 约 0.998 会被舍入为正好
1.0,对应头永不遗忘; - 约 0.996–0.998 之间的因子会被舍入为 0.996,对应头遗忘速度约快至 2 倍;
- bf16 状态乘以如
0.9987的因子后,因变化小于半个 ulp,可能完全不改变。
slope_rate 进入 bf16 的路径:已发布的检查点不含 slope_rate / *_decay 张量(8243 个 key 中 0 个),加载时由 _init_weights 重建,而 get_slope_rate 未显式指定 dtype,于是继承加载 dtype。在发布的 config 上统计,bf16 下有 388 / 4480 个头(8.7%)分布在 33 / 70 层中衰减被舍入为 1.0;fp16 下为 39 个头、4 层。作为对照,vLLM 将 slope_rate 转为 torch.float32,并在 fp32 下执行 decay 与 KV 状态计算。
环境排查
- 确认 transformers 版本(Issue 基于
main@ 4692303)。 - 确认 torch 版本(Issue 为 2.11)。
- 确认加载 dtype 是否为
torch.bfloat16,以及模型是否存在 linear_attention 层。 - 确认检查点是否缺少
slope_rate/query_decay/key_decay/diagonal_decay等 key(Issue 称已发布检查点均缺失)。 - 统计各层
torch.exp(-layer.self_attn.slope_rate) == 1的头数,作为精度异常的判定依据。 - Issue 未提供 CUDA、显卡、Python 版本,排查时无需引入这些条件。
解决步骤
- 先用 Issue 的统计方法检查当前加载模型的衰减精度:逐个 linear_attention 层计算
torch.exp(-layer.self_attn.slope_rate),统计等于1.0的元素数。若存在非零值,即命中该问题。 - 用 fp32 在同输入上做对照解码(Issue 的
decode_last_hidden思路),比较 bf16 与 fp32 的 last hidden state 相对误差,确认漂移随序列长度扩大。 - 可优先尝试将
slope_rate与递推状态attn_weights_inter保持为 fp32,仅在写出时再转回模型 dtype。参照 vLLM 做法:slope_rate = slope_rate.to(torch.float32),decay 与 KV 状态在 fp32 下计算。 - 若改动 transformers 源码,按贡献规范改
modular_minimax.py,再重新生成modeling_minimax.py,不要只改自动生成文件。 - 以 Issue 复现脚本回归:bf16 下衰减为 1.0 的头数应显著下降,且 500 / 3000 token 的 bf16 对 fp32 相对误差应明显小于 3.31e-02 / 7.39e-02。
验证方法
重新运行 Issue 中的复现脚本,观察两点:其一,heads whose bf16 decay is exactly 1.0, per layer 的输出应不再出现 8.7% 级别的异常头数;其二,decode 500 tokens 与 decode 3000 tokens 的 bf16 对 fp32 相对误差应随修复而收敛,且不再随长度显著增长。修复在 Issue 关闭时尚未合并验证,最终以对应 PR 的测试结果为准。
参考来源
huggingface/transformers #49289
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


