SAM3: `Sam3ViTLayer.position_ids` buffer is cast to bf16 on loading, degrading RoPE in global-attention layers (regression since v5.17.0, PR

在加载 SAM3 模型时如果对权重使用 bf16(例如 from_pretrained(..., dtype=torch.bfloat16) ), Sam3ViTLayer.position_ids buffer 会被一并转成 bf16;global-attention 层的 RoPE 位置是 1/

快速结论:在加载 SAM3 模型时如果对权重使用 bf16(例如 from_pretrained(..., dtype=torch.bfloat16)),Sam3ViTLayer.position_ids buffer 会被一并转成 bf16;global-attention 层的 RoPE 位置是 1/3 之类的分数,bf16 无法精确表示,导致 cos/sin 表偏差、检测分数轻微漂移,个别实例可能跨过阈值而漏检。优先检查 global-attention 层 position_ids 的 dtype。

适用环境:在 Issue 中已确认复现的环境为:Linux aarch64(NVIDIA GB10)、Python 3.12.3、PyTorch 2.14.1+cu130、transformers 5.20.2(5.17.0 起复现,5.13.0–5.16.1 不受影响)、safetensors 0.8.0、huggingface_hub 1.33.0、accelerate 1.13.0;未安装 DeepSpeed,未使用分布式或并行。

最快修复方案:暂无确认的一步修复方案。Issue 中验证过的规避方式是在加载后把 position_ids 重新构造为 fp32,或直接以 fp32 运行,可恢复到与 v5.16.1 接近的结果(分数差在 0.005 以内)。

注意事项:该问题截至当前 Issue 尚无合并的修复 PR,重新构造 buffer 属于临时规避。报告者还提到 sam2_video、edgetam_video、sam3_tracker_video 有相同的 buffer 写法;但复现者指出这些视频模型的 precompute_positions 使用 arange/meshgrid 且不做缩放,结果保持 int64,可能不受影响。是否受影响请以实际 dtype 检查为准。

问题场景

使用 transformers 加载 SAM3 模型(facebook/sam3)做文本提示下的实例检测/分割,加载方式为 Sam3Model.from_pretrained(..., dtype=torch.bfloat16, device_map="cuda")。在 v5.17.0 起(引入 PR #48105 后),模型视觉编码器中 global-attention 层的 Sam3ViTLayer.position_ids buffer 会随模型 dtype 变为 bf16,导致 RoPE 位置不精确,表现与 bf16 权重误差无关的分数漂移:同一权重下检测分数最多变化约 0.02,某些图片上会有实例因跨过分数阈值而丢失(报告者测试集中某个文本提示从 10 个实例变为 9 个)。

报错原文

SAM3: `Sam3ViTLayer.position_ids` buffer is cast to bf16 on loading, degrading RoPE in global-attention layers (regression since v5.17.0, PR #48105)

layer.position_ids.dtype  -> torch.bfloat16
(cos_bf16 - cos_fp32).abs().max() -> tensor(0.0416)   # global-attention layer
# 0 on windowed layers (integer positions)

layer 0 windowed (8)   dtype=torch.bfloat16  max position error=0.0000
layer 1 global         dtype=torch.bfloat16  max position error=0.0104

原因分析

最可能的原因是默认 dtype 泄漏进了 buffer 构造。precompute_positions 会把整数网格乘以 config.window_size / hw_grid[1],得到一个默认 dtype 的浮点张量,再经 nn.Buffer(position_ids, persistent=False) 存入模型。当 from_pretrained 在建模期间把默认 dtype 设为 bf16 时,该 buffer 也被构造为 bf16。inv_freq 不受影响,因为它创建时显式指定了 dtype=torch.float。

windowed 层的缩放系数是 window_size / window_size = 1,位置保持整数,bf16 能精确表示,所以窗口层误差为 0;global 层的缩放为分数(复现配置为 2/3,已发布权重为 24/72 = 1/3),位置可到 23.67,bf16 无法精确表示,于是 Sam3ViTRotaryEmbedding.forward 计算出的 cos/sin 表与精确值产生偏差,最终改变检测分数。

环境排查

  • 确认 transformers 版本:5.17.0 及以上可能受影响,5.13.0–5.16.1 不受影响;Issue 复现版本包括 5.17.0 与 5.20.2。
  • 确认加载时的 dtype 参数是否为 torch.bfloat16(或是否通过默认 dtype 间接使用 bf16)。
  • 检查 global-attention 层(第 7 层等)的 layer.position_ids.dtype 是否为 torch.bfloat16。
  • 对比 windowed 层与 global 层的 position_ids dtype 与最大位置误差:windowed 层应为 0 误差,global 层出现非零误差即为命中该问题。
  • 确认 PyTorch、CUDA、Python 与显卡环境;如涉及视频模型(sam2_video 等),额外检查其 precompute_positions 产出的 dtype 是否为 int64。

解决步骤

  1. 先用最小复现确认问题是否存在:加载模型后取一个 global-attention 层(如第 7 层),打印 layer.position_ids.dtype,若为 torch.bfloat16 且与该层重新用 fp32 计算的 precompute_positions 做 cos 对比得到非零误差,即复现。
  2. 临时规避(可优先尝试,尚未合并修复):在 from_pretrained 之后,对每个 Sam3ViTLayer 用 fp32 重新构造 position_ids,即调用 layer.precompute_positions(layer.config, layer.window_size) 并转为 fp32 后写回 layer.position_ids(或直接重建 buffer)。报告者用这一方式将 bf16 结果恢复到与 v5.16.1 相差 0.005 以内。
  3. 如果无法接受任何漂移,可临时改用 fp32 运行模型,Issue 中该方式同样恢复了旧结果。
  4. 关注上游修复 PR;Issue 中已有贡献者表示愿意提交修复,方向是在 precompute_positions 中显式以 fp32 计算位置,或将 buffer 排除在 dtype 转换之外。

验证方法

重新加载模型后,确认 global-attention 层 position_ids.dtype 为 torch.float32,并再次比较 cos_bf16 与该层 fp32 精确计算出的 cos 表,最大绝对差应回到 0(而非 0.0416)。随后用同一组 bf16 权重与测试图片重新推理,检测分数应与 v5.16.1 的结果接近(偏差在 0.005 以内),实例数量不再因阈值跨线而减少。

参考来源

huggingface/transformers #49938

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注