ValueError: Weight shape (256, 131) not divisible by scale grid (2, 2).

在无 GPU/XPU 的主机上加载 finegrained_fp8(DeepSeek 系列)量化权重时,若某个量化线性权重的某个维度不是 128 的整数倍,会触发 ValueError: Weight shape (256, 131) not divisible by scale grid (2,

快速结论:在无 GPU/XPU 的主机上加载 finegrained_fp8(DeepSeek 系列)量化权重时,若某个量化线性权重的某个维度不是 128 的整数倍,会触发 ValueError: Weight shape (256, 131) not divisible by scale grid (2, 2).,或在形状恰好能被整除时静默反量化成错误权重。优先排查 CPU 强制反量化路径与 scale grid 是否按 ceil 语义匹配。

适用环境:Issue 已确认:Linux x86_64、纯 CPU 主机(无 GPU/XPU)、Python 3.12.15、PyTorch 2.15.0+cpu、transformers 5.22.1(同问题在 5.17.0 复现)、huggingface_hub 2.4.0、safetensors 0.8.0、accelerate 1.15.0。

最快修复方案:暂无确认的一步修复方案。Issue 中提出的修复思路是让 Fp8Dequantize._dequantize_one 改用与 _dequantize_fp8_weight 相同的 ceil grid 分块,并在 scale grid 与 ceil(shape / weight_block_size) 不一致时报错;该方案尚未合入发布版本。

注意事项:该问题不一定会报错:当维度能被 scale grid 行数整除时(例如 130 行配 2 个 scale 行块),整除检查会通过,块大小被算成 65 而非 128,第 65–127 行被错误缩放,属于静默错误。GPU 路径使用 _dequantize_fp8_weight,Issue 报告其在同一 checkpoint 上表现正确。上述修复方向基于 Issue 评论与源码定位,未标注为已合并或已验证发布。

问题场景

用户在无 GPU/XPU 的主机上用 Transformers 加载 finegrained_fp8 checkpoint(quant_method: "fp8",DeepSeek checkpoint 系列)。由于没有 GPU/XPU,Transformers 会自动强制 dequantize=True,把模型反量化到 bf16。当量化线性权重的 hidden/intermediate 维度不是 weight_block_size(128)的整数倍时,外部按块量化工具会生成 ceil 形状的 scale grid(带部分边缘块),此时 CPU 反量化路径出错。

报错原文

ValueError: Weight shape (256, 131) not divisible by scale grid (2, 2).

另据 Issue 的算子级复现,部分场景不会报错而是静默返回错误结果:

row 65: 2.0 (expected 1.0)
wrong rows: 63 of 130

原因分析

最可能的原因是 CPU 强制反量化路径 Fp8Dequantize._dequantize_one 用等分方式推导块大小(block_m = rows // scale_rows),而该格式的语义是 ceil grid、允许边缘部分块。于是出现两种表现:

  • 形状不能被 scale grid 整除时,在第 1148 行附近抛出上述 ValueError;
  • 形状恰好能被 scale grid 行数整除(但块大小并不等于 128)时,整除检查通过,块大小被错误推导(如 130 行配 2 个 scale 行块得到 65),部分行被错误缩放且不报错。

同一文件中的 _dequantize_fp8_weight(约 285–303 行)使用 repeat_interleave 加 [..., :rows, :] 与 rem 分支,实现了部分块感知的 ceil grid 语义,因此 GPU 量化路径在同一 checkpoint 上表现正确。Issue 指出相关代码在当前 main 上仍未改变。

环境排查

  • 确认是否为纯 CPU 主机(无 GPU/XPU),并查看加载日志中是否出现 “Using FP8 quantized models requires a GPU or XPU, we will default to dequantizing the model to bf16”。
  • 确认 transformers 版本:Issue 在 5.22.1 复现,5.17.0 同样复现,当前 main 源码检查仍未修复。
  • 确认 PyTorch 是否为 CPU 构建(如 2.15.0+cpu)。
  • 检查 checkpoint 的 quantization_config.weight_block_size 与实际 weight_scale_inv 形状是否为 ceil 网格。
  • 检查量化权重的各维度是否能被 128 整除;不能整除的权重在 CPU 路径上会命中该问题。

解决步骤

  1. 先定位具体出问题的权重:从报错中的 Weight shape 与 scale grid 反推是哪一层,或比对 weight_scale_inv 形状是否等于 ceil(weight.shape / weight_block_size)。
  2. 确认加载走的是 CPU 强制反量化路径(日志里的默认 dequantizing 提示)。同样的 checkpoint 在 GPU 主机上加载正常,可作为旁证。
  3. 可优先尝试:在 GPU/XPU 主机上用原生量化路径加载同一 checkpoint,规避 CPU 反量化路径(Issue 报告 GPU 路径正确)。
  4. 可优先尝试(需自行改源码验证):参照 _dequantize_fp8_weight 的 ceil grid 逻辑修改 Fp8Dequantize._dequantize_one,或直接调用 _dequantize_fp8_weight 完成反量化;同时把整除检查改为“scale grid 必须等于 ceil(shape / weight_block_size)”。Issue 中的提议尚未合入,修改后需自行测试。
  5. 关注 huggingface/transformers #50603 的修复进展,升级到包含修复的版本(Issue 中该提议的 CPU 部分块加载测试是否已合入,尚需在发布说明中确认)。

验证方法

CPU 环境下用 Issue 提供的复现脚本:hidden_size=256(可被 128 整除)的 checkpoint 应得到 wrong elements = 0;hidden_size=200(含部分块)的 checkpoint 在修复前会静默出错,修复后应与 _dequantize_fp8_weight 的结果一致(最大差值为 0.0)。也可用算子级脚本:形状 (130, 128)、scale 为 [[1.0], [2.0]] 时,第 65 行应为 1.0,wrong rows 应为 0。

参考来源

huggingface/transformers #50603

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36402

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注