快速结论:在启用 NEFTune 的同时使用 packed 训练(如 DataCollatorWithFlattening、TRL 的 padding_free)时,噪声缩放因子会把整行 packed 长度当作样本长度,因此触发“Neftune computation is probably wrong with packed training”。优先排查 NEFTune 缩放所用的长度是否来自逐样本长度,而非整行长度。
适用环境:Issue 报告基于 Transformers v4.46.2;维护者在 main 分支复现,示例使用小型 Llama、alpha=5、d=64。Issue 正文未给出操作系统、Python、CUDA 与显卡信息。
最快修复方案:暂无确认的一步修复方案。Issue 中讨论的修复方向尚未合并:维护者指出现有 Embedding forward hook 拿不到 attention mask,必须在模型层捕获序列边界(position_ids / cu_seq_lens)后再按逐样本长度缩放。
注意事项:在官方修复合入前,packed 训练叠加 NEFTune 得到的噪声强度与参考实现不一致,可能影响训练效果。临时规避可以选择训练时关闭 NEFTune,或改用非 packed 的常规批次;这两种做法只是规避,并未修复该问题。
问题场景
用户在使用 Transformers Trainer 做微调时,同时启用 NEFTune 噪声注入与 packed 训练,包括使用 DataCollatorWithFlattening 或 TRL 的 padding_free,把多条短序列拼成一行进行训练。报告者认为此时 NEFTune 的缩放因子 alpha/sqrt(length*d) 中的 length 取的是整行 packed 长度,而非每条样本自身的长度,与参考实现的计算方式不一致。
报错原文
Neftune computation is probably wrong with packed training
原因分析
可能原因:NEFTune 的噪声按缩放因子 alpha/sqrt(L*d) 计算,而该 hook 在 integrations/neftune.py 中仍以整行长度为 L(早期位于 trainer_utils.py)。在 packed 训练下,这一行包含多条样本,于是 L 变成总 packed 长度,而不是每条样本的长度。参考实现 NEFTune 训练代码按每条样本未 padding 的长度缩放。
维护者在复现中给出两组偏差:3 条 32 token 序列拼成一行 96 token 时,噪声实际缩放约为 alpha/sqrt(96*d),比逐样本的 alpha/sqrt(32*d) 小约 1.73 倍;普通 padded 批次也不一致,8 token 的行 padding 到 32 后噪声只有参考值的一半,并且 pad 位置也会被加入噪声,而参考实现会将其屏蔽。
为什么不能直接在 embedding hook 内修复:nn.Embedding 的 forward hook 只能拿到 input_ids,拿不到 attention mask。因此需要在模型层捕获 position_ids / cu_seq_lens 等序列边界信息,再传给噪声计算,才能对 packed 行按分段长度、对普通批次按未 padding 长度缩放并将 pad 位置置零。
环境排查
- 确认 Transformers 版本是否涉及 NEFTune 实现,报告版本为 v4.46.2;维护者确认 main(hook 已移至
integrations/neftune.py)上仍存在该行为。 - 确认是否启用 Trainer 的 NEFTune 选项,并记录
alpha与 embedding 维度d。 - 确认训练批次是否使用 packed 方式,如
DataCollatorWithFlattening或 TRL 的padding_free;同时检查普通 padded 批次的 pad 位置是否被计入噪声。 - Issue 未提供操作系统、Python、CUDA、PyTorch、显卡信息,这些项目无法据 Issue 核对。
解决步骤
- 先确认问题范围:在启用 NEFTune 的训练中,检查 collator 输出是否为一整行 packed 序列;若是,按当前实现
L即为整行长度。 - 用固定配置对比噪声量级:维护者以
alpha=5、d=64的小型 Llama 验证,packed 3×32 相对逐样本缩放约差 1.73 倍,可作为自查参照。 - 在官方修复合入前,可优先尝试的规避方式:需要与参考实现一致的噪声时,暂时关闭 NEFTune,或改用非 packed 的常规批次训练。
- 关注修复进展:可行方向是增加模型层 forward pre-hook,将
position_ids/ attention mask 传入 embedding hook,实现 packed 按分段长度、普通批次按未 padding 长度且 pad 置零的缩放。Issue 中提到的 #35799 按现有写法无法修复该问题,因为 hook 拿不到 attention mask。 - 如需自行修改,注意维护者的范围问题:修复 padded 批次会改变所有 NEFTune 用户的噪声,需明确是仅修 packed 还是与参考实现完全对齐。
验证方法
在相同 alpha 与 d 下,分别对 packed 行(如 3×32)与普通 padded 批次计算实际噪声缩放,应与逐样本 alpha/sqrt(样本长度*d) 一致;pad 位置不应有噪声。当 packed 与 padded 两种批次的噪声量级都符合参考实现,且训练输出与关闭 NEFTune 的基线对比合理时,可认为问题已解决。当前尚无已合并的修复,以上为验证目标而非已验证结果。
参考来源
huggingface/transformers #34659
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


