快速结论:该报错通常出现在 Accelerate 使用 FSDP2 且开启 cpu_ram_efficient_loading=True 的场景。此时 ignored_modules 会被静默分片,含 persistent buffer 的模型会在加载 state dict 时崩溃。优先排查是否同时启用了 FSDP2 与 CPU 高效加载,并检查模型是否带有 persistent buffer,或 ignored_modules 是否有意保留未分片权重(如 lm_head)。
适用环境:Linux-6.8.0-147-generic-x86_64-with-glibc2.39;Python 3.12.3;PyTorch 2.13.0+cu130;CUDA;2x NVIDIA H100 80GB(NVLink);Accelerate 1.14.0、1.15.0 及 main(90b233c);transformers 5.17.0 及 main(5.23.0.dev0)。
最快修复方案:暂无确认的一步修复方案。Issue 标注该问题已由 #4568 修复,并取代 #4554;建议升级到包含该修复的 Accelerate 版本后再验证。
注意事项:Issue 中用户的原变通方案是关闭 cpu_ram_efficient_loading,代价是每个 rank 都要加载完整 CPU 模型副本,显存之外的内存占用明显增加。升级前请确认版本确实包含 #4568,不要仅凭版本号推测。
问题场景
用户在 Linux 双卡 H100 环境中,通过 accelerate launch 以 FSDP2 启动模型微调,并开启 --fsdp_cpu_ram_efficient_loading true。典型场景是用 LoRA 微调 GLM-5.3-Flash、Qwen3.8 等模型,并通过 ignored_modules 把 lm_head 排除在分片之外,供 Liger 的融合交叉熵使用完整权重。
结果出现两类问题:一是被忽略模块仍被静默分片;二是模型中存在 persistent buffer(如 GLM-5.3-Flash MoE router 的 e_score_correction_bias)时,加载 state dict 直接崩溃。Issue 用未绑定词嵌入的 tiny Llama、FSDP_IGNORED_MODULES=lm_head、2 GPU 复现。
报错原文
AttributeError: 'Tensor' object has no attribute 'device_mesh'
Once (1) is fixed, ignored params reach the same path and crash the same way.
对应 Issue 中用户观察到的第二个错误:fsdp2_load_full_state_dict 对每个 state dict 条目读取 sharded_param.device_mesh,但 FSDP2 不会对 buffer 分片,于是普通 Tensor 没有 device_mesh 属性。
原因分析
问题集中在 fsdp2_prepare_model 与 cpu_ram_efficient_loading=True 的组合:
- ignored_modules 被静默分片:代码先收集
ignored_params,随后把模型移到meta。移动过程中Parameter对象被替换,导致之后fully_shard(ignored_params=...)匹配不到原始参数对象,被忽略的模块因此仍被分片,且没有警告或报错。关闭cpu_ram_efficient_loading时参数对象未被替换,所以表现正常。 - persistent buffer 导致崩溃:
fsdp2_load_full_state_dict假设 state dict 中每个条目对应的参数都经由 FSDP2 分片、带有device_mesh。但 buffer 不会被 FSDP2 分片,遇到 persistent buffer 就会抛出上述AttributeError。按 Issue 描述,第 (1) 个问题修复后,被忽略的参数也会走到同一路径,并以同样方式崩溃。
可能原因:meta 加载路径未保留原始参数对象引用,state dict 加载逻辑也未区分参数与 buffer。
环境排查
- 确认 Accelerate 版本:Issue 中 1.14.0、1.15.0、main(90b233c)均复现。
- 确认 PyTorch 版本:2.13.0+cu130。
- 确认 Python 版本:3.12.3。
- 确认 CUDA 与 GPU:CUDA,2x NVIDIA H100 80GB(NVLink)。
- 确认 transformers 版本:5.17.0 与 main(5.23.0.dev0)均出现。
- 确认 FSDP 配置:
--use_fsdp --fsdp_version 2 --fsdp_cpu_ram_efficient_loading true。 - 确认是否设置了
FSDP_IGNORED_MODULES或ignored_modules参数。 - 确认目标模型是否包含 persistent buffer,例如 MoE router 中的
e_score_correction_bias。
解决步骤
- 可优先尝试的临时规避:在修复版本可用前,关闭 CPU 高效加载,即设置
--fsdp_cpu_ram_efficient_loading false,或移除ignored_modules相关配置。Issue 中用户以此方式绕过,但每个 rank 都会加载完整 CPU 模型副本,内存开销增大。 - 确认修复来源:Issue 评论摘要说明该问题由
#4568修复,并取代#4554。请查看 Accelerate 发版记录,确认目标版本包含该修复。 - 升级 Accelerate:安装包含
#4568的版本后,重新按原命令运行复现脚本,验证ignored_modules是否仍为普通 Tensor,以及含 persistent buffer 的模型能否正常 prepare。 - 若使用 transformers 集成:同步确认 Accelerate 依赖版本已更新,避免环境里仍解析到旧版 Accelerate。
验证方法
用 Issue 中的 tiny Llama 复现脚本重跑:开启 cpu_ram_efficient_loading=true 后,输出应显示 lm_head.weight is DTensor=False,且各 rank 的权重和与 checkpoint 一致。再对含 persistent buffer 的模型(如 GLM-5.3-Flash)执行一次 FSDP2 prepare 和加载 state dict,确认不再出现 AttributeError: 'Tensor' object has no attribute 'device_mesh'。
参考来源
关联修复:huggingface/accelerate PR #4568(Issue 评论摘要中提及,取代 #4554)。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


