Streaming completion reports finish_reason “stop” when the stream ends without any finish reason

当流式 chat completion 的 HTTP 响应正常结束、但提供方始终没有下发 finish reason 时,LiteLLM 会在最后一个 chunk 里补一个并不存在的 "stop" ,导致调用方无法区分“正常完成”和“流被提前截断”。优先排查上游响应是否真的缺少 finish rea

快速结论:当流式 chat completion 的 HTTP 响应正常结束、但提供方始终没有下发 finish reason 时,LiteLLM 会在最后一个 chunk 里补一个并不存在的 "stop",导致调用方无法区分“正常完成”和“流被提前截断”。优先排查上游响应是否真的缺少 finish reason,以及当前 LiteLLM 版本是否已包含相应修复。

适用环境:Issue 已确认的环境为 LiteLLM 1.105.1、openai 2.54.0、Python 3.12、Linux;复现覆盖 openai/(OpenAI Chat Completions 及 Ollama OpenAI 兼容端点)、ollama_chat/、gemini/、anthropic/。后续讨论另在 litellm 1.109.0 上验证了 Gemini 路径。

最快修复方案:暂无确认的一步修复方案。按 Issue 结论,升级到包含 #47665 的 1.109.0 可覆盖 OpenAI Chat、OpenAI 兼容端点、原生 Ollama 与 Anthropic;Gemini 路径还需包含 #53187。

注意事项:修复行为是:流在没有收到 finish reason 时抛出 MidStreamFallbackError(”Stream ended before a finish_reason was received”),而不是静默返回 finish_reason=None。这会改变依赖“总能拿到 stop”的调用方逻辑,捕获该异常的分支需要单独处理。Gemini 路径在 1.109.0 上仍会报 stop,只升级到 1.109.0 不足以覆盖全部 provider。

问题场景

用户使用 litellm.completion(stream=True) 进行流式对话补全,并开启 stream_options={"include_usage": True}。上游返回的 SSE 响应体在最后一个文本 delta 之后直接结束,既没有携带 finish reason 的 chunk,也没有 usage chunk 和 data: [DONE]。此时 LiteLLM 仍会输出一个 finish_reason="stop" 的末尾 chunk,使调用方误以为模型正常结束了回答。

报错原文

Streaming completion reports finish_reason "stop" when the stream ends without any finish reason

[(' soup', None)]
[(',', None)]
[(' and', None)]
[(' a', None)]
[(None, 'stop')]
[(None, None)]

Stream ended before a finish_reason was received

原因分析

问题出在 CustomStreamWrapper.finish_reason_handler(litellm/litellm_core_utils/streaming_handler.py)。该处在收到过 received_finish_reason 或 intermittent_finish_reason 时使用实际值,否则硬回退为 "stop"。因此只要流没有带 finish reason 就结束,无论上游是正常 EOF 还是被截断,都会得到 "stop",调用方无法据此判断流是否完整。这与 #33404、#33458 中 HTTP 传输中断的情况不同:这里 HTTP 响应是正常结束的,只是缺少 finish reason。

Gemini 路径另有独立原因:_create_streaming_choice 会把 candidate.get("finishReason") 传给 _check_finish_reason,而该函数在缺少取值时也回退为 "stop"。于是 wrapper 在第一个 chunk 就“看到”了 finish reason,新增的流结束检查根本不会触发,这也是 1.109.0 上 Gemini 仍返回 stop 的原因。

环境排查

  • 确认 LiteLLM 版本,是否低于 1.109.0,或是否包含 #53187。
  • 确认 openai SDK 版本(Issue 中为 2.54.0)。
  • 确认 Python 版本(Issue 中为 3.12)与操作系统(Linux)。
  • 确认所用 provider 路由:openai/、ollama_chat/、gemini/、anthropic/;Gemini 需单独确认。
  • 抓取上游原始 SSE 响应体,确认最后一个文本 delta 之后是否存在带 finish reason 的 chunk 和 data: [DONE]。

解决步骤

  1. 先用原始响应确认问题性质:如果上游本身就缺少 finish reason chunk,则属于本 Issue 覆盖的情况;如果 HTTP 层异常中断,则应参照 #33404、#33458 排查。
  2. 升级 LiteLLM 到包含 #47665 的版本(1.109.0 起),覆盖 OpenAI Chat、OpenAI 兼容端点和原生 Ollama、Anthropic。
  3. 若使用 Gemini,确认版本同时包含 #53187;仅升级到 1.109.0 时 Gemini 仍可能返回 stop。
  4. 在调用方代码中捕获 MidStreamFallbackError,把“流提前结束”作为独立分支处理,而不是继续依赖 finish_reason 判断完整性。
  5. 如果升级后问题仍在,按 Issue 结尾的建议在原 Issue 下补充复现信息,以便重新打开。同时注意不要改动 tool-call 组装逻辑,修复方向要求该行为保持不变。

验证方法

用同一个“删掉 finish chunk、usage chunk 和 data: [DONE]”的录制流重放,观察迭代输出的最后几个 chunk:修复后不应再出现凭空补出的 (None, 'stop'),而应抛出 MidStreamFallbackError。再对照一条带正常 finish reason 的流,确认仍能正确输出提供方给出的 finish_reason,且 tool-call 组装结果不变。Gemini 需用同样的截断录制流单独验证,确认不再以 stop 结束。

参考来源

BerriAI/litellm #46542

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36596

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注