ValueError: Batch does not contain any data`.

该报错( ValueError: Batch does not contain any data )通常出现在使用 fp16=True 的 Trainer 训练中,GradScaler 跳过某一步 optimizer.step() 后,结合 IterableDataset 与 max_steps 触

快速结论:该报错(ValueError: Batch does not contain any data)通常出现在使用 fp16=True 的 Trainer 训练中,GradScaler 跳过某一步 optimizer.step() 后,结合 IterableDataset 与 max_steps 触发数据流重启或耗尽场景;优先排查是否为跳过步骤导致的数据流迭代器重启,以及是否为不可重启的流式数据集。

适用环境:transformers 5.17.0 及 main(96331a9);accelerate 1.15.0 及 main(421af8b);torch 2.14.0;Python 3.13;Tesla T4,CUDA 13.0,fp16=True。该问题也可在 CPU 上复现(在 Accelerator 上安装 GradScaler)。

最快修复方案:暂无确认的一步修复方案。可优先尝试保持同一个迭代器直到 global_step 达到 max_steps,避免因跳过步骤而重启 epoch 导致数据流回绕或耗尽。

注意事项:PR #49239 修复了步骤计数与回调触发问题,但后续复测发现:在 IterableDataset 配合 max_steps 且发生跳过时,会重新迭代数据流;对于不可重启的生成器流,可能导致 ValueError: Batch does not contain any data。该问题在 GPU 上是否相同尚未验证(复测仅在 CPU 进行)。同时,若持续溢出,训练可能因 global_step 无法达到 max_steps 而长时间不结束,需依赖连续跳过保护机制。

问题场景

用户在使用 Hugging Face Transformers 的 Trainer 进行 fp16=True 训练时,因 GradScaler 检测到 inf/NaN 梯度跳过 optimizer.step()。原有逻辑会将跳过的步骤仍计入 global_step 并触发 on_optimizer_step / on_step_end,导致训练步数虚高、max_steps 提前用完。在 PR #49239 修复步骤计数后,使用 IterableDataset 配合 max_steps 时,跳过步骤会促使 Trainer 开启新的 epoch 并重启数据流迭代器,造成样本重复读取、后续样本未被使用;若数据流为不可重启的生成器且长度恰好匹配运行需求,则最终抛出 ValueError: Batch does not contain any data。

报错原文

ValueError: Batch does not contain any data

原因分析

可能原因:在 PR #49239 的修复中,当 GradScaler 跳过优化器更新时,该次尝试不计入 global_step,但外层的 epoch 循环仍会正常结束并进入下一 epoch。对于无长度的 IterableDataset,Trainer 将 num_update_steps_per_epoch 设为 max_steps;跳过发生后,该 epoch 的更新次数不足,新的 epoch 重新调用 iter(train_dataloader),导致数据流从头读取。非可重启的流(如生成器)在数据耗尽后无法提供新批次,最终触发 Accelerate 的 ValueError: Batch does not contain any data。

环境排查

  • 确认 transformers 版本:是否包含 PR #49239 的修复(或相关提交)。
  • 确认 accelerate 版本;若使用 adamw_torch_fused,需确认 accelerate 是否包含 huggingface/accelerate#4243 以准确报告跳过步骤。
  • 确认 torch 版本与 CUDA 环境(如 CUDA 13.0)。
  • 确认是否使用 fp16=True 且 GradScaler 实际安装了 scaler(CPU 上直接 fp16=True 默认不创建 scaler,需在 Accelerator 上手动安装以复现)。
  • 确认数据集类型:是否为 IterableDataset,其迭代是否可重复(可重迭代 vs 一次性生成器)。
  • 确认是否设置了 max_steps,以及是否使用默认 adamw_torch 或 adamw_torch_fused。

解决步骤

  1. 若当前版本尚未包含 PR #49239,升级到包含该 PR 的版本,或应用对应修复,以先解决步骤计数与回调误触发问题。
  2. 若需使用 adamw_torch_fused,确认 accelerate 已合并 huggingface/accelerate#4243,否则跳过步骤报告仍可能不准确。
  3. 针对 IterableDataset + max_steps 的流重启问题:可优先尝试修改 Trainer 逻辑,在发生跳过时保持同一个 dataloader 迭代器,直到 global_step 达到 max_steps,而不是进入新 epoch 并重启迭代器。
  4. 若无法修改 Trainer 逻辑,临时规避:对不可重启的流式数据集使用可重复迭代的数据源,或避免依赖 max_steps 与自动 epoch 切换同时作用于流式数据的场景。
  5. 注意持续溢出风险:若每一步都溢出,修复后的循环可能因 global_step 无法达到 max_steps 而长时间不结束(复测中 90 秒内约 6000 次尝试,global_step 仍为 2)。可优先尝试加入连续跳过保护(例如连续 N 次跳过后告警或抛出异常)。复测表明 100 次连续跳过会抛出异常,99 次跳过后恢复仍可正常完成。

验证方法

使用带注入 inf 梯度的复现脚本,记录每个 on_step_end 的 global_step、优化器状态中的 step 计数、lr_scheduler.last_epoch 以及 on_optimizer_step 调用次数,确认应用更新次数与 global_step 一致(例如 7 次尝试产生 6 次实际更新且 global_step=6)。对 IterableDataset 场景,记录模型实际看到的样本索引序列,确认在发生跳过时不会重复读取已用样本且能继续消费后续未读样本;使用可重迭代的流时,修复后应连续读取 0-9 并完成 5 次更新,而不是“0-9,再 0、1 重复”。对不可重启的生成器流,确认训练结束时不再抛出 ValueError: Batch does not contain any data。同时检查断点续训结果与无跳过训练一致(包括梯度累积场景),并确认 PR 自带测试通过。

参考来源

huggingface/transformers #49237

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36717

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注