[Bug]: `chatgpt/gpt-5.4` throw exception when stream is `false`

在 LiteLLM Proxy 中调用 chatgpt/gpt-5.4 (即模型组 gpt-5.4 )并设置 stream=false 时,非流式响应会触发 ChatgptException - Unknown items in responses API response: [] ,最终被包装成

快速结论:在 LiteLLM Proxy 中调用 chatgpt/gpt-5.4(即模型组 gpt-5.4)并设置 stream=false 时,非流式响应会触发 ChatgptException - Unknown items in responses API response: [],最终被包装成 APIConnectionError;问题与 Responses API 响应解析相关,优先检查 LiteLLM 版本是否已包含 #41235 的修复。

适用环境:Issue 中确认的信息为:工具 LiteLLM(Proxy),版本 v1.83.8,运行环境为容器内的 Python 3.13(路径 /app/.venv/lib/python3.13/site-packages/litellm)。Issue 未提供操作系统、CUDA、显卡或其他依赖版本,无需额外补写。

最快修复方案:升级到包含 #41235 修复的 LiteLLM 版本。根据维护者回复,该修复已合并;若升级后仍失败,可在 Issue 中反馈并等待重新排查。

注意事项:#41235 的具体改动范围与影响版本未在 Issue 中展开,升级前请确认目标版本确实包含该提交。在修复版本可用前,可优先尝试对 chatgpt/gpt-5.4 使用 stream=true(Issue 明确说明仅有 stream=false 时抛异常),但该规避方式并未在 Issue 中被验证为官方推荐方案。

问题场景

用户通过 LiteLLM Proxy 调用 ChatGPT 系列模型,模型名写为 gpt-5.4(对应 chatgpt/gpt-5.4)。当请求体中 stream 设为 false 时,请求必然失败;而其他 chatgpt/* 模型在同样条件下工作正常。请求示例包含 system 和 user 两条消息,属于普通非流式对话补全场景。

报错原文

{
  "error": {
    "message": "litellm.APIConnectionError: APIConnectionError: ChatgptException - Unknown items in responses API response: []. Received Model Group=gpt-5.4\nAvailable Model Group Fallbacks=None",
    "type": null,
    "param": null,
    "code": "500"
  }
}

服务端日志中的关键片段:

litellm.exceptions.APIConnectionError: litellm.APIConnectionError: APIConnectionError: ChatgptException - Unknown items in responses API response: []. Received Model Group=gpt-5.4

原因分析

报错信息表明 LiteLLM 在调用 ChatGPT 后端后,收到的 Responses API 响应中存在无法识别的 items(内容为空数组 []),解析逻辑因此抛出 ChatgptException,并被统一映射为 APIConnectionError。该问题只在 stream=false 时出现,说明非流式路径下的响应解析与流式路径存在差异。维护者已确认修复合并于 #41235,因此根因应位于 LiteLLM 对 ChatGPT Responses API 非流式响应的处理代码中。

环境排查

  • 确认 LiteLLM Proxy 版本:Issue 中为 v1.83.8,需检查是否已升级到包含 #41235 的版本。
  • 确认 Python 运行环境:Issue 日志显示为 Python 3.13,位于容器内虚拟环境。
  • 确认请求中使用的模型名是 gpt-5.4,并且确实走了 chatgpt/ 提供方。
  • 确认 stream 参数:问题与 stream=false 强相关,可对比 stream=true 的返回情况。
  • 确认是否配置了模型组回退:报错中显示 Available Model Group Fallbacks=None,因此请求不会自动回退到其他模型。

解决步骤

  1. 检查当前 LiteLLM 版本是否为 v1.83.8 或同样缺少 #41235 修复的版本。
  2. 升级到包含 #41235 的 LiteLLM 版本,然后重启 LiteLLM Proxy 服务。
  3. 如暂时无法升级,可优先尝试将该请求的 stream 改为 true 规避非流式解析路径(该规避方式为基于 Issue 现象推断,未被官方确认)。
  4. 若升级后仍出现相同报错,按维护者说明在 Issue 下反馈,并附上完整堆栈与当前版本信息,以便重新排查。

验证方法

使用同样包含 system 与 user 消息的请求,将 model 设为 gpt-5.4、stream 设为 false,确认不再返回 500 与 Unknown items in responses API response: [],而是正常返回对话补全结果。同时可对比 stream=true 的结果,确认两条路径行为一致。

参考来源

BerriAI/litellm #26309

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 27515

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注