[Bug][Rust Frontend] /v1/completions rejects an array of prompts

使用 Rust 前端( VLLM_USE_RUST_FRONTEND=1 )启动 vLLM 并调用 /v1/completions 时,如果 prompt 传的是数组(文本数组或嵌套的 token ID 数组),请求会在 JSON 反序列化阶段直接返回 400,报 [Bug][Rust Fronte

快速结论:使用 Rust 前端(VLLM_USE_RUST_FRONTEND=1)启动 vLLM 并调用 /v1/completions 时,如果 prompt 传的是数组(文本数组或嵌套的 token ID 数组),请求会在 JSON 反序列化阶段直接返回 400,报 [Bug][Rust Frontend] /v1/completions rejects an array of prompts 相关的 untagged enum 错误。优先确认是否启用了 Rust 前端,并改用 Python 前端或升级到包含 #62495 修复的版本。

适用环境:镜像 vllm/vllm-openai:v0.31.0,通过 VLLM_USE_RUST_FRONTEND=1 启用 Rust 前端;测试模型为 Qwen/Qwen2.5-1.5B-Instruct。Issue 未提供 Python、CUDA、显卡驱动等具体版本信息。

最快修复方案:不启用 Rust 前端(即使用默认 Python 前端)时,单值、文本数组和 token ID 数组形式均可被接受;若要继续用 Rust 前端支持批量 prompt,需使用包含 #62495 修复的版本。Issue 中未给出单独的运行时开关作为已验证的一步修复方案。

注意事项:该问题只影响 /v1/completions 的批量 prompt 反序列化;n > 1 是另一个独立缺口(#44280),不在本次修复范围内。用 Python 前端回避问题时,其行为与 OpenAI schema 一致,但这不是 Rust 前端的修复。

问题场景

用户使用 vllm/vllm-openai:v0.31.0 镜像,设置 VLLM_USE_RUST_FRONTEND=1 启动 vLLM 服务(示例模型为 Qwen/Qwen2.5-1.5B-Instruct),然后向 /v1/completions 发送 prompt 为数组的请求:["hello","world"]、[[1,2,3]]、[[1,2,3],[4,5,6]] 均返回 400。而单个字符串 "hello" 和扁平的 token ID 数组 [1,2,3] 正常返回 200。Python 前端可以接受全部五种形式,并按每个 prompt 返回一个 choice。

报错原文

400 {"error":{"message":"Failed to deserialize the JSON body into the target type: prompt: data did not match any variant of untagged enum Prompt at line 1 column 74","type":"invalid_request_error","param":null,"code":"json_parse_error"}}

对 [[1,2,3]] 和 [[1,2,3],[4,5,6]] 返回同样的错误,行列号随请求体长度变化。

原因分析

Rust 前端中 rust/src/text/src/request.rs 定义的 Prompt 枚举只有两个变体:Text(String) 和 TokenIds(Vec<u32>);CompletionRequest.prompt 字段是单个 Prompt。因此 JSON 数组中的字符串数组或嵌套数组无法匹配任何变体,untagged enum 在反序列化时报出上述错误。路由注释写的是 The prompt(s),但类型只接受单个值,说明实现与 OpenAI completions 路由“单值或数组”的契约不一致。

环境排查

  • 确认启动命令或环境变量中是否设置了 VLLM_USE_RUST_FRONTEND=1;未启用 Rust 前端时不会触发该问题。
  • 确认使用的 vLLM 镜像/版本,Issue 在 vllm/vllm-openai:v0.31.0 上复现,main 分支的请求类型形状相同。
  • 确认请求体中的 prompt 是否为数组形式:字符串数组、单层嵌套 token ID 数组或多层嵌套 token ID 数组。
  • 上传或检查完整的 400 响应体,确认错误信息是否为 data did not match any variant of untagged enum Prompt,而不是其他参数校验错误。
  • 如果 n > 1 也失败,需单独按 #44280 排查,不要与本问题混在一起。

解决步骤

  1. 先做最小复现:启用 Rust 前端,分别用单字符串、扁平 token ID 数组、文本数组请求 /v1/completions,确认只有数组形式失败。
  2. 临时规避:不设置 VLLM_USE_RUST_FRONTEND=1,改用默认 Python 前端启动服务,再发送数组 prompt,验证能按每个 prompt 返回一个 choice。
  3. 如果必须使用 Rust 前端:升级到包含 PR #62495 的版本,该 PR 为 Rust /v1/completions 路由增加了文本和 token ID 批量 prompt 支持,同时保留单 prompt 输入。
  4. 升级后按 Issue 中的原始 curl 分别测试文本数组和嵌套 token ID 数组,非流式与流式各测一次,检查返回的 choice 数量及 index 是否对应各 prompt。
  5. 若仍有与空输入、歧义输入或嵌套输入相关的 400,对照 PR #62495 中对 Python 前端校验行为的对齐说明,确认请求是否属于已知兼容性限制。

验证方法

对同一批请求,Python 前端和升级后的 Rust 前端都应返回 200,且 choices 数量等于 prompt 数量,index 与 prompt 位置对应。流式请求应能正常结束,聚合 usage 与实际 prompt 数量一致。Issue 中 PR #62495 的验证包括路由级 HTTP 回归测试、完整 Rust workspace 测试(2,185 通过、13 个既有跳过)以及在 H100 上与 Python 前端的真实模型对比。若在未升级时用 Python 前端规避,则可直接以数组 prompt 返回多个 choice 作为验证标准。

参考来源

vllm-project/vllm #62460

相关修复 PR:#62495(Issue 评论摘要中提及)。相关独立缺口:#44280(n > 1)。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注