快速结论:使用 AWQ 4-bit 量化的 GLM-4.7 等 MoE 模型(含共享专家且 routed_scaling_factor 不为 1)时,若 vLLM 默认以 float16 运行,v0.20.0 及之后的版本可能出现输出退化、无限循环、logits 偏移。应优先确认数据类型并尝试 --dtype bfloat16,并留意 [Bug]: GLM-4.7-AWQ on Blackwell (sm_120) produces degenerate/looping output on v0.25.1 but correct on v0.14.0 — regression in compiled AWQ-M 是否为同一回归。
适用环境:vLLM Docker 镜像(v0.14.0 正常;v0.19.0 正常;v0.20.0 至 v0.25.1 及 v0.31.0 异常);QuantTrio/GLM-4.7-AWQ(AWQ 4-bit,group_size=128,zero_point=true);TP=4,启用 --enforce-eager、--reasoning-parser glm45;实测硬件包括 4× NVIDIA RTX 6000D(Blackwell sm_120)与 4× H100 80GB(Hopper),两者均可复现(说明并非 Blackwell 独有)。v0.25.1 容器内为 PyTorch 2.11.0+cu130、CUDA 13.0、Python 3.12.13;v0.14.0 容器为 PyTorch 2.9.1+cu129(CUDA 12.9),驱动 590.48.01。
最快修复方案:暂无确认的一步修复方案。可优先尝试在启动参数中加入 --dtype bfloat16:Issue 中验证在 v0.25.1 与 v0.31.0 上使用该参数后,输出与 v0.19.0 一致,且仍走 Marlin MoE 路径。
注意事项:该 checkpoint 本身为 torch_dtype=float16,改为 bfloat16 属于绕过问题,并非根因修复;Issue 讨论中提出的代码级修复(给 GLM-4 解码层补 DeepSeek 式 float16 补偿,或把 runner 的“除以共享专家输出”路径改为按模型选择启用)尚未合入验证。此外,v0.19.0 在 sm_120 上已出现异常,说明 Blackwell 上可能还存在另一个原因,需要单独排查。
问题场景
用户用 vLLM OpenAI 兼容服务加载 QuantTrio/GLM-4.7-AWQ(MoE 推理模型,AWQ 4-bit,含共享专家),TP=4 启动,发送简单算术请求(如“1+1等于几?”追问),temperature=0。v0.14.0 与 v0.19.0 返回正确结果并 finish_reason: stop;v0.20.0 起(含 v0.25.1、v0.31.0)输出退化为错误答案并无限循环,直到 finish_reason: length。同一环境下其他提示词(如“What is 1+1? Answer in one short sentence.”)的答案也发生偏移(从“1+1 equals 2.”变为“Two.”),说明不是单个提示词的偶发问题。
报错原文
[Bug]: GLM-4.7-AWQ on Blackwell (sm_120) produces degenerate/looping output on v0.25.1 but correct on v0.14.0 — regression in compiled AWQ-M
Actual behavior (v0.25.1 / v0.31.0):
content: "1+1等于几。" repeated indefinitely
finish_reason: length
Expected behavior (v0.14.0):
content: "1+1等于2。"
finish_reason: stop
原因分析
Issue 中通过二分定位和 bfloat16 对照,给出的可能原因是 #35949(“[MoE Refactor] Move the shared/fused expert output sum into MoERunnerBase”),该变更在 v0.20.0 引入、v0.19.x 没有:
- 变更前,
glm4_moe.py给 MoE 层传routed_scaling_factor=1.0,并在自身计算final_hidden_states * self.routed_scaling_factor + shared_output。 - 变更后,GLM-4 改为传
routed_scaling_factor=self.routed_scaling_factor且apply_routed_scale_to_output=True,由 runner 负责缩放。在MoERunner._maybe_apply_routed_scale_to_output中,当输出为 float16 且存在共享专家 时,runner 改为对shared_output乘以1.0 / routed_scaling_factor,依赖解码层做对应除法补偿。 - DeepSeek-V2 在 float16 下确实对 attention 输出和残差做了
1/routed_scaling_factor补偿;而glm4_moe.py没有。结果每层 MoE 实际加的是routed + shared/2.5(未缩放残差),而非2.5·routed + shared,该层贡献偏小 2.5 倍,导致 logits 错误、输出循环。
这也解释了为什么其他小模型不复现:GLM-4.5-Air 的 routed_scaling_factor=1.0,缩放被跳过;Qwen3-MoE 没有共享专家。该原因无法解释 v0.19.0 在 sm_120 上已异常,可能是另一个独立问题。
环境排查
- 确认 vLLM 版本是否在 v0.20.0 及以上(v0.20.0、v0.21.0、v0.22.0、v0.23.0、v0.24.0、v0.25.0、v0.25.1、v0.31.0 均在 Issue 中复现)。
- 确认运行时数据类型:checkpoint 为
torch_dtype=float16且未传--dtype,则默认走 float16,即命中该问题。 - 确认 MoE 路径:日志中应走 Marlin MoE(未出现 “Falling back to Moe WNA16”),Issue 中该路径下仍复现。
- 确认是否使用
--enforce-eager、TP=4、FlashInfer 相关环境变量等与 Issue 一致的参数,以保持可比性。 - 日志中无报错,不要以“无异常日志”判断运行正常,应直接检查生成内容。
- 使用 v0.25.1 的容器请一并核对 PyTorch 2.11.0+cu130、CUDA 13.0、Python 3.12.13 等版本;v0.14.0 对照容器为 PyTorch 2.9.1+cu129。
- 若为 Blackwell(sm_120),注意 v0.19.0 已异常,可能叠加了与 float16 回归无关的第二个原因。
解决步骤
- 保留原启动参数复现一次,记录“1+1等于几?”请求的输出与
finish_reason,作为对照基线。 - 在启动命令中加入
--dtype bfloat16(其余参数不变),重启服务。 - 重新发送同一请求(
temperature=0、enable_thinking: false),观察是否恢复正常输出。 - 若 bfloat16 可用,将该参数作为临时规避方案;同时关注上游对 GLM-4 解码层 float16 补偿或 runner 缩放逻辑的修复,Issue 讨论中维护者倾向“把 divide-shared 路径改为按模型选择启用,否则缩放 routed 输出”的方案,但尚无已验证提交。
- 若需要继续定位,可在本机对 v0.19.0 与 v0.20.0 之间、以及 #35949 提交前后构建做对照测试,确认回归窗口(Issue 作者也尚未完成这一步)。
验证方法
用相同请求分别在修改前后调用,确认:修改后 content 为正确的“1+1等于2。”或等价简短答案,且 finish_reason 为 stop 而非 length;同时检查“What is 1+1? Answer in one short sentence.”等提示词不再出现答案偏移;日志中 MoE 仍走 Marlin MoE 路径、无加载回退告警。Issue 中在 v0.25.1 与 v0.31.0 上加入 --dtype bfloat16 后,四个提示词的答案与 v0.19.0 一致。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。
![[Bug]: Groq 401 "Invalid API Key" is mapped to BadRequestError (stored as 400_INVALID_REQUEST)](https://www.chat-gpts.plus/wp-content/uploads/2026/11/51994-9ccf2e47-768x403.jpg)

