快速结论:在加载 SAM3 模型时如果对权重使用 bf16(例如 from_pretrained(..., dtype=torch.bfloat16)),Sam3ViTLayer.position_ids buffer 会被一并转成 bf16;global-attention 层的 RoPE 位置是 1/3 之类的分数,bf16 无法精确表示,导致 cos/sin 表偏差、检测分数轻微漂移,个别实例可能跨过阈值而漏检。优先检查 global-attention 层 position_ids 的 dtype。
适用环境:在 Issue 中已确认复现的环境为:Linux aarch64(NVIDIA GB10)、Python 3.12.3、PyTorch 2.14.1+cu130、transformers 5.20.2(5.17.0 起复现,5.13.0–5.16.1 不受影响)、safetensors 0.8.0、huggingface_hub 1.33.0、accelerate 1.13.0;未安装 DeepSpeed,未使用分布式或并行。
最快修复方案:暂无确认的一步修复方案。Issue 中验证过的规避方式是在加载后把 position_ids 重新构造为 fp32,或直接以 fp32 运行,可恢复到与 v5.16.1 接近的结果(分数差在 0.005 以内)。
注意事项:该问题截至当前 Issue 尚无合并的修复 PR,重新构造 buffer 属于临时规避。报告者还提到 sam2_video、edgetam_video、sam3_tracker_video 有相同的 buffer 写法;但复现者指出这些视频模型的 precompute_positions 使用 arange/meshgrid 且不做缩放,结果保持 int64,可能不受影响。是否受影响请以实际 dtype 检查为准。
问题场景
使用 transformers 加载 SAM3 模型(facebook/sam3)做文本提示下的实例检测/分割,加载方式为 Sam3Model.from_pretrained(..., dtype=torch.bfloat16, device_map="cuda")。在 v5.17.0 起(引入 PR #48105 后),模型视觉编码器中 global-attention 层的 Sam3ViTLayer.position_ids buffer 会随模型 dtype 变为 bf16,导致 RoPE 位置不精确,表现与 bf16 权重误差无关的分数漂移:同一权重下检测分数最多变化约 0.02,某些图片上会有实例因跨过分数阈值而丢失(报告者测试集中某个文本提示从 10 个实例变为 9 个)。
报错原文
SAM3: `Sam3ViTLayer.position_ids` buffer is cast to bf16 on loading, degrading RoPE in global-attention layers (regression since v5.17.0, PR #48105)
layer.position_ids.dtype -> torch.bfloat16
(cos_bf16 - cos_fp32).abs().max() -> tensor(0.0416) # global-attention layer
# 0 on windowed layers (integer positions)
layer 0 windowed (8) dtype=torch.bfloat16 max position error=0.0000
layer 1 global dtype=torch.bfloat16 max position error=0.0104
原因分析
最可能的原因是默认 dtype 泄漏进了 buffer 构造。precompute_positions 会把整数网格乘以 config.window_size / hw_grid[1],得到一个默认 dtype 的浮点张量,再经 nn.Buffer(position_ids, persistent=False) 存入模型。当 from_pretrained 在建模期间把默认 dtype 设为 bf16 时,该 buffer 也被构造为 bf16。inv_freq 不受影响,因为它创建时显式指定了 dtype=torch.float。
windowed 层的缩放系数是 window_size / window_size = 1,位置保持整数,bf16 能精确表示,所以窗口层误差为 0;global 层的缩放为分数(复现配置为 2/3,已发布权重为 24/72 = 1/3),位置可到 23.67,bf16 无法精确表示,于是 Sam3ViTRotaryEmbedding.forward 计算出的 cos/sin 表与精确值产生偏差,最终改变检测分数。
环境排查
- 确认 transformers 版本:5.17.0 及以上可能受影响,5.13.0–5.16.1 不受影响;Issue 复现版本包括 5.17.0 与 5.20.2。
- 确认加载时的
dtype参数是否为torch.bfloat16(或是否通过默认 dtype 间接使用 bf16)。 - 检查 global-attention 层(第 7 层等)的
layer.position_ids.dtype是否为torch.bfloat16。 - 对比 windowed 层与 global 层的
position_idsdtype 与最大位置误差:windowed 层应为 0 误差,global 层出现非零误差即为命中该问题。 - 确认 PyTorch、CUDA、Python 与显卡环境;如涉及视频模型(
sam2_video等),额外检查其precompute_positions产出的 dtype 是否为 int64。
解决步骤
- 先用最小复现确认问题是否存在:加载模型后取一个 global-attention 层(如第 7 层),打印
layer.position_ids.dtype,若为torch.bfloat16且与该层重新用 fp32 计算的precompute_positions做 cos 对比得到非零误差,即复现。 - 临时规避(可优先尝试,尚未合并修复):在
from_pretrained之后,对每个Sam3ViTLayer用 fp32 重新构造position_ids,即调用layer.precompute_positions(layer.config, layer.window_size)并转为 fp32 后写回layer.position_ids(或直接重建 buffer)。报告者用这一方式将 bf16 结果恢复到与 v5.16.1 相差 0.005 以内。 - 如果无法接受任何漂移,可临时改用 fp32 运行模型,Issue 中该方式同样恢复了旧结果。
- 关注上游修复 PR;Issue 中已有贡献者表示愿意提交修复,方向是在
precompute_positions中显式以 fp32 计算位置,或将 buffer 排除在 dtype 转换之外。
验证方法
重新加载模型后,确认 global-attention 层 position_ids.dtype 为 torch.float32,并再次比较 cos_bf16 与该层 fp32 精确计算出的 cos 表,最大绝对差应回到 0(而非 0.0416)。随后用同一组 bf16 权重与测试图片重新推理,检测分数应与 v5.16.1 的结果接近(偏差在 0.005 以内),实例数量不再因阈值跨线而减少。
参考来源
huggingface/transformers #49938
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


