标签: Python

`datasets` Iterable Dataset sharding support

`datasets` Iterable Dataset sharding support

这个报错/数据异常通常出现在用 Accelerate 的 prepare() 包裹基于 datasets 的流式 IterableDataset 时,Accelerate 会再次执行分片,导致多进程训练实际只覆盖部分数据。优先确认数据集是否自身已按 source 分片,以及当前走的是 .shard(