快速结论:当流式 chat completion 的 HTTP 响应正常结束、但提供方始终没有下发 finish reason 时,LiteLLM 会在最后一个 chunk 里补一个并不存在的 "stop",导致调用方无法区分“正常完成”和“流被提前截断”。优先排查上游响应是否真的缺少 finish reason,以及当前 LiteLLM 版本是否已包含相应修复。
适用环境:Issue 已确认的环境为 LiteLLM 1.105.1、openai 2.54.0、Python 3.12、Linux;复现覆盖 openai/(OpenAI Chat Completions 及 Ollama OpenAI 兼容端点)、ollama_chat/、gemini/、anthropic/。后续讨论另在 litellm 1.109.0 上验证了 Gemini 路径。
最快修复方案:暂无确认的一步修复方案。按 Issue 结论,升级到包含 #47665 的 1.109.0 可覆盖 OpenAI Chat、OpenAI 兼容端点、原生 Ollama 与 Anthropic;Gemini 路径还需包含 #53187。
注意事项:修复行为是:流在没有收到 finish reason 时抛出 MidStreamFallbackError(”Stream ended before a finish_reason was received”),而不是静默返回 finish_reason=None。这会改变依赖“总能拿到 stop”的调用方逻辑,捕获该异常的分支需要单独处理。Gemini 路径在 1.109.0 上仍会报 stop,只升级到 1.109.0 不足以覆盖全部 provider。
问题场景
用户使用 litellm.completion(stream=True) 进行流式对话补全,并开启 stream_options={"include_usage": True}。上游返回的 SSE 响应体在最后一个文本 delta 之后直接结束,既没有携带 finish reason 的 chunk,也没有 usage chunk 和 data: [DONE]。此时 LiteLLM 仍会输出一个 finish_reason="stop" 的末尾 chunk,使调用方误以为模型正常结束了回答。
报错原文
Streaming completion reports finish_reason "stop" when the stream ends without any finish reason
[(' soup', None)]
[(',', None)]
[(' and', None)]
[(' a', None)]
[(None, 'stop')]
[(None, None)]
Stream ended before a finish_reason was received
原因分析
问题出在 CustomStreamWrapper.finish_reason_handler(litellm/litellm_core_utils/streaming_handler.py)。该处在收到过 received_finish_reason 或 intermittent_finish_reason 时使用实际值,否则硬回退为 "stop"。因此只要流没有带 finish reason 就结束,无论上游是正常 EOF 还是被截断,都会得到 "stop",调用方无法据此判断流是否完整。这与 #33404、#33458 中 HTTP 传输中断的情况不同:这里 HTTP 响应是正常结束的,只是缺少 finish reason。
Gemini 路径另有独立原因:_create_streaming_choice 会把 candidate.get("finishReason") 传给 _check_finish_reason,而该函数在缺少取值时也回退为 "stop"。于是 wrapper 在第一个 chunk 就“看到”了 finish reason,新增的流结束检查根本不会触发,这也是 1.109.0 上 Gemini 仍返回 stop 的原因。
环境排查
- 确认 LiteLLM 版本,是否低于 1.109.0,或是否包含 #53187。
- 确认 openai SDK 版本(Issue 中为 2.54.0)。
- 确认 Python 版本(Issue 中为 3.12)与操作系统(Linux)。
- 确认所用 provider 路由:
openai/、ollama_chat/、gemini/、anthropic/;Gemini 需单独确认。 - 抓取上游原始 SSE 响应体,确认最后一个文本 delta 之后是否存在带 finish reason 的 chunk 和
data: [DONE]。
解决步骤
- 先用原始响应确认问题性质:如果上游本身就缺少 finish reason chunk,则属于本 Issue 覆盖的情况;如果 HTTP 层异常中断,则应参照 #33404、#33458 排查。
- 升级 LiteLLM 到包含 #47665 的版本(1.109.0 起),覆盖 OpenAI Chat、OpenAI 兼容端点和原生 Ollama、Anthropic。
- 若使用 Gemini,确认版本同时包含 #53187;仅升级到 1.109.0 时 Gemini 仍可能返回
stop。 - 在调用方代码中捕获
MidStreamFallbackError,把“流提前结束”作为独立分支处理,而不是继续依赖finish_reason判断完整性。 - 如果升级后问题仍在,按 Issue 结尾的建议在原 Issue 下补充复现信息,以便重新打开。同时注意不要改动 tool-call 组装逻辑,修复方向要求该行为保持不变。
验证方法
用同一个“删掉 finish chunk、usage chunk 和 data: [DONE]”的录制流重放,观察迭代输出的最后几个 chunk:修复后不应再出现凭空补出的 (None, 'stop'),而应抛出 MidStreamFallbackError。再对照一条带正常 finish reason 的流,确认仍能正确输出提供方给出的 finish_reason,且 tool-call 组装结果不变。Gemini 需用同样的截断录制流单独验证,确认不再以 stop 结束。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。
![[Bug] `WebBrowsingManifest.systemRole` caches `Current date` at module load time, causing stale date in Server/Agent Gateway mode](https://www.chat-gpts.plus/wp-content/uploads/2026/11/21627-91a7a9f0-768x403.jpg)
![[bug]: [v7] Idle invokeai-web pins one CPU core at 100% (7.0.0a2-rocm, Radeon AI PRO R9700)](https://www.chat-gpts.plus/wp-content/uploads/2026/11/9998-ab0c8a13-768x403.jpg)
