[CI Failure]: Acceptance length issue in the Speculators Correctness group

该报错 [CI Failure]: Acceptance length issue in the Speculators Correctness group 通常出现在 vLLM 的 CI 测试 test_speculators_correctness[peagle] 中,原因是 PEagle 投机

快速结论:该报错[CI Failure]: Acceptance length issue in the Speculators Correctness group通常出现在 vLLM 的 CI 测试 test_speculators_correctness[peagle] 中,原因是 PEagle 投机解码的接受长度低于预设阈值。优先排查是否启用了 model runner v2,该组件可能改变了接受长度的计算逻辑。

适用环境:vLLM 开发分支(commit f887aa1a53 之后);工具链未指定操作系统、Python 版本、CUDA 或显卡型号。

最快修复方案:暂无确认的一步修复方案。可优先尝试将 vLLM 更新至包含 PR #43010 的版本,该 PR 正在修复因 model runner v2 引起的接受长度问题。

注意事项:PR #43010 目前尚未合并到主分支,上述方案属于开发中的修复;如果已经使用了该 PR 仍出现问题,请进一步排查阈值或模型配置。

问题场景

在 vLLM 项目的 CI 任务或本地运行 tests/v1/spec_decode/test_speculators_correctness.py::test_speculators_correctness[peagle] 测试时触发,该测试用于验证 PEagle 投机解码器的正确性。

报错原文

E       AssertionError: PEagle speculators acceptance length too low: 1.74 = 1.816

原因分析

可能原因是 model runner v2(模型运行器第二版)的引入改变了接受长度的计算方式或模型加载逻辑,导致同一测试的接受长度统计值下降,低于 CI 设定的阈值(≥1.816)。Issue 中开发人员初步判断为 model runner v2 所致,并已通过 PR #43010 进行修复。

环境排查

  • vLLM 版本:确认代码是否包含了 commit f887aa1a53 之后的更改。
  • 是否启用了 model runner v2(可通过 vLLM 配置或环境变量确认)。
  • 本地运行测试时,确认是否使用了与 CI 一致的 CUDA、PyTorch 版本(未指定,但可参考 vLLM 官方依赖)。

解决步骤

  1. 更新 vLLM 代码至最新主分支或合并 PR #43010 的变更。
  2. 如果无法更新,可尝试在运行测试时关闭 model runner v2(例如通过设置环境变量或修改配置),但需注意该操作可能影响其他功能。
  3. 重新运行测试:pytest tests/v1/spec_decode/test_speculators_correctness.py -k peagle

验证方法

测试通过且输出中显示接受长度 ≥1.816,无断言错误即可确认修复。例如期望输出:PASSED tests/v1/spec_decode/test_speculators_correctness.py::test_speculators_correctness[peagle]

参考来源

vllm-project/vllm #43000

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 15455

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注