[Bug]: /v1/audio/transcriptions with response_format=text logs zero usage

当 LiteLLM 代理的 /v1/audio/transcriptions 请求使用 response_format=text 时,OpenAI 返回纯字符串且不带 usage ,LiteLLM 便把 usage 记录成 {"prompt_tokens": 0, "completion_token

快速结论:当 LiteLLM 代理的 /v1/audio/transcriptions 请求使用 response_format=text 时,OpenAI 返回纯字符串且不带 usage,LiteLLM 便把 usage 记录成 {"prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0},依赖 usage 计价的链路(spend 日志、按量计费、token 预算)会把这单当成免费请求。优先确认请求的 response_format 是否为 text,再比对同一请求改用 json 时的 spend 日志。

适用环境:LiteLLM v1.99.1,Issue 报告时 main 分支(be4481779e,2026-10-04)仍可复现;涉及 gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-transcribe-diarize、gpt-transcribe、whisper-1。Issue 未提供操作系统、Python、CUDA 或显卡信息。

最快修复方案:升级到包含 PR #53256 修复的 LiteLLM 版本(该修复已合并)。

注意事项:Issue 未写明包含修复的具体版本号,升级前需自行确认目标版本已合入该 PR。Issue 中提出的“对上游改用 json 再自行渲染纯文本”只是建议方案,并非该 Issue 已验证的处理方式。

问题场景

用户在 LiteLLM 代理上调用 /v1/audio/transcriptions 做音频转写,请求中指定 response_format=text。成功后查询 spend 日志,发现该条记录的 usage 全为 0,只有 spend 按 LiteLLM 自行测量的时长计费。同样的请求把 response_format 改成 json 后,日志能正确记录服务商返回的 usage(type: tokens,或 gpt-transcribe 的 type: duration)。

报错原文

[Bug]: /v1/audio/transcriptions with response_format=text logs zero usage

usage_object: {"prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0}

原因分析

直接原因:response_format=text 时 OpenAI 返回的是纯字符串,不包含 usage 字段,因此 LiteLLM 没有可记录的 usage,只能写入全 0。此时只有 spend 会根据 LiteLLM 从文件中测得的时长计费,该时长保存在 _hidden_params["audio_transcription_duration"] 中。

可能的成因关联:Issue 认为这是 #30599 的副作用——过去 text 会被转发为 verbose_json,从而携带时长信息;行为改变后,text 路径失去了这部分用量数据。对于 whisper-1 搭配 srt/vtt 这类服务商完全不返回 usage 的情况,Issue 建议可将测得时长记录为 {"type": "duration", "seconds": ...},但这属于期望行为,不是原实现。

环境排查

  • 确认 LiteLLM 版本是否为 v1.99.1 或更早的受影响版本。
  • 确认请求体中 response_format 的取值是否为 text(对照 json 的日志表现)。
  • 确认使用的模型是否在受影响范围内:gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-transcribe-diarize、gpt-transcribe、whisper-1。
  • Issue 未涉及 Python、CUDA、PyTorch、显卡或额外依赖,无需针对性排查。

解决步骤

  1. 复现并定位:用 Issue 中的 curl 方式发送 response_format=text 请求,再发送一次 response_format=json 的相同请求。
  2. 对比两条 spend 日志:text 那条 usage 为全 0,json 那条为真实 token 数或时长,即可确认命中此问题。
  3. 升级 LiteLLM 到已合入 PR #53256 的版本。
  4. 升级后重复第 1、2 步的对比,确认 text 请求的 usage 已与 json 一致。

验证方法

在修复后的版本上,对同一音频分别用 response_format=text 和 response_format=json 发送请求,检查 spend 日志中两条记录的 usage:text 请求应不再出现 {"prompt_tokens": 0, "completion_tokens": 0, "total_tokens": 0},而是与 json 请求记录一致的用量数据。若仍未一致,说明所用版本尚未包含该修复。

参考来源

BerriAI/litellm #44538(修复 PR:#53256)

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36451

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注