快速结论:这个报错通常出现在通过 AsyncLLM.add_request 配合异步生成器提交 StreamingInput 分段输入、且累计会话长度把 max_model_len 顶穿的场景;优先排查“多段输入合并后是否超过 max_model_len”,而不是先怀疑量化或模型权重。
适用环境:vLLM 0.25.1(记录提交 752a3a504485790a2e8491cacbb35c137339ad34);V2 Model Runner(日志 Using V2 Model Runner);单卡 NVIDIA GeForce RTX 4090 24564 MiB,驱动 595.80;Python 3.12(补丁版本未记录);PyTorch 2.11.0+cu130;模型 Qwen3-0.6B;引擎参数 max_model_len=64、enforce_eager=True、gpu_memory_utilization=0.3、TP=1,采样 temperature=0,未启用投机解码。
最快修复方案:暂无确认的一步修复方案。Issue 中对应的修复 PR #63113 在合并阶段拒绝超长更新并把会话停在 WAITING_FOR_STREAMING_REQ,但该修复在报告发布时仍处于待合入状态,未在本文所列运行中验证。
注意事项:Issue 未给出任何可直接执行的配置级规避手段;把单段输入截短未必生效,因为触发条件是“分段合并后的累计会话长度”而不是单段长度。降低 max_model_len 会更容易触及该边界,不是修复方向。
问题场景
在 vLLM 0.25.1 上使用 AsyncLLM.add_request,把异步生成器产出的多个 StreamingInput 分段依次喂给同一个请求(resumable streaming / session 式续写)。每一段单独看都小于 max_model_len=64,但在第二段提交、且第一段已返回首个输出之后,合并后的会话长度超过上限,调度器输出负的调度 token 数,V2 runner 断言失败,EngineCore 报致命错误,调用方收到 EngineDeadError。这是真实模型执行,没有对生产调度器或 runner 打 monkeypatch。
报错原文
AssertionError: assert num_tokens > 0
EngineDeadError
total_num_scheduled_tokens=-14
num_computed_tokens=[77]
另一次保存的 GPU 运行中负值为 -36。相关 Issue 标题原始报错为:[Bug]: v0.25.1 streaming input beyond max_model_len produces negative scheduled token counts and crashes V2 runner。
原因分析
根因已在当前 main 上确认:_update_request_as_session 在合并下一段输入时没有做长度检查。合并后的会话一旦超过 max_model_len,running 分支的截断量 max_model_len - num_computed_tokens - num_sampled_tokens_per_step 就变为负数。当前 main 上 _reserve_prefill_lookahead 会把它向下取整为 0,结果是会话永远卡在 RUNNING、调度为空;而本报告使用的 V2 构建把这个负数直接传给了模型 runner,触发 assert num_tokens > 0 并崩溃。
从运行记录看,失败案例(A/target:首段 40、次段 30、max_tokens=8)出现 num_computed_tokens=[77]、total_num_scheduled_tokens=-14;对照案例(A/baseline:首段 20、次段 10、max_tokens=4)正常完成,客户端报告 30 个 prompt token 和 8 个 output token。Issue 作者明确说明该报告属于 #42489 同一缺陷家族,不主张是独立的新根因。
环境排查
- 确认 vLLM 版本与提交:是否为 0.25.1 /
752a3a504485790a2e8491cacbb35c137339ad34;日志中是否出现Using V2 Model Runner。 - 确认 Python 3.12 与 PyTorch 2.11.0+cu130 的实际安装情况(Issue 未记录 Python 补丁版本)。
- 确认 GPU 与驱动:单卡 RTX 4090、驱动 595.80;
nvidia-smi报告的 CUDA 兼容版本为 13.2。 - 确认引擎参数:
max_model_len=64、enforce_eager=True、gpu_memory_utilization=0.3、TP=1,采样temperature=0,未开投机解码。 - 确认模型路径为本地 Qwen3-0.6B 目录;引擎日志记录
revision=None,Issue 未声明固定 revision 参数。 - 统计请求的分段序列:逐段 token 数与已生成的 output token 数,重点看“累计会话长度 + 每步采样 token”是否逼近或超过
max_model_len。
解决步骤
- 先缩小复现范围:构造一个复现脚本,用
AsyncLLM(max_model_len=64, enforce_eager=True)提交两段StreamingInput,第一段取 20 token、第二段取 10 token 作为对照,确认能正常完成。 - 把第一段改为 40 token、第二段 30 token、
max_tokens=8,在拿到首个输出后再放行第二段(通过asyncio.Event),观察是否出现EngineDeadError以及日志中的负调度值。 - 检查调用侧是否会在第一段输出后继续追加分段。Issue 确认失败发生在“首段输出已收到、第二段提交”之后,因此需要保证合并后的会话长度仍满足
max_model_len约束。 - 确认源码中
_update_request_as_session是否有长度校验(当前 main 已确认缺失,这是 #63113 修复的位置);若缺少,属于已知缺陷,不要通过改max_model_len、清缓存或重装依赖来“修复”。 - 如需临时规避(可优先尝试,未经 Issue 验证):在客户端侧避免让“已计算 token + 待采样 token + 新分段 token”超过
max_model_len,例如缩短后续分段或开启新请求续写。 - 关注 PR #63113 的合入状态;合入后,超长更新应在合并时被拒绝,会话停为
WAITING_FOR_STREAMING_REQ,等待更短的分段继续,而不是崩溃。
验证方法
重新执行上述两段式复现:正常案例应完整返回输出且无报错;失败案例不应再出现 EngineDeadError,日志中也不应出现 total_num_scheduled_tokens 为负的记录。若使用带 #63113 的版本,预期表现为超长分段更新被拒绝、会话进入 WAITING_FOR_STREAMING_REQ,随后可用更短的分段继续该会话,而不是让 EngineCore 退出。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


