ValueError: Model is None and does not exist in passed completion_response. Passed completion_response=

该报错通常出现在 LiteLLM Proxy 调用 ElevenLabs 语音合成模型(如 eleven_multilingual_v2)后,在自定义 callback 中对返回的音频响应对象调用 litellm.completion_cost(completion_response=respons

快速结论:该报错通常出现在 LiteLLM Proxy 调用 ElevenLabs 语音合成模型(如 eleven_multilingual_v2)后,在自定义 callback 中对返回的音频响应对象调用 litellm.completion_cost(completion_response=response_obj) 时。优先排查 callback 是否错误地对纯音频响应做成本计算,以及是否应从 kwargs["response_cost"] 读取 LiteLLM 已计算好的费用。

适用环境:Issue 中已确认:LiteLLM Proxy v1.80.10.rc.2(Docker 镜像 ghcr.io/berriai/litellm:v1.80.10.rc.2),Python 3.13(日志路径为 /usr/lib/python3.13/site-packages/litellm),模型 elevenlabs/eleven_multilingual_v2,通过 OpenAI Python SDK 调用 /audio/speech 接口。操作系统、CUDA、显卡、PyTorch 版本 Issue 未提供。

最快修复方案:在自定义 callback 的 async_log_success_event 中,不再调用 litellm.completion_cost(completion_response=response_obj),改为直接读取 kwargs["response_cost"]。维护者用与该配置等价的请求复测过,可通过该字段拿到已计算费用。

注意事项:该写法只读取 LiteLLM 已经算好的费用,不能自行对音频响应对象做模型反查。ElevenLabs 不同订阅套餐的单价不同,平坦 API 费率和套餐价并不一致;若要按套餐单价计费,需要依赖后续版本支持在模型上配置 model_info.input_cost_per_character(Issue 中提到修复见 #53265,发布后才能使用,需确认你所用版本是否已包含)。

问题场景

用户在 LiteLLM Proxy 中配置 ElevenLabs 语音模型 elevenlabs/eleven_multilingual_v2,并挂载自定义 callback(callbacks: custom_callbacks.proxy_handler_instance)。通过 OpenAI SDK 调用 client.audio.speech.create(...) 发起 /audio/speech 请求后,请求本身返回 200 OK,但在成功回调中调用 litellm.completion_cost(completion_response=response_obj) 计算费用时抛出异常,日志中表现为 Non-Blocking 的 success logging 错误。

报错原文

LiteLLM.LoggingError: [Non-Blocking] Exception occurred while success logging
Traceback (most recent call last):
  File "/usr/lib/python3.13/site-packages/litellm/litellm_core_utils/litellm_logging.py", line 2538, in async_success_handler
    await callback.async_log_success_event(
  File "/app/custom_callbacks.py", line 8, in async_log_success_event
    cost_in_usd = litellm.completion_cost(completion_response=response_obj)
  File "/usr/lib/python3.13/site-packages/litellm/cost_calculator.py", line 1269, in completion_cost
    raise e
  File "/usr/lib/python3.13/site-packages/litellm/cost_calculator.py", line 947, in completion_cost
    raise ValueError(
ValueError: Model is None and does not exist in passed completion_response. Passed completion_response=<litellm.types.llms.openai.HttpxBinaryResponseContent object at 0x7f0cc99dfe00>, model=None

原因分析

最可能的原因:语音合成(speech)请求的成功响应对象是音频二进制内容(HttpxBinaryResponseContent),其中不包含可供 completion_cost 反查的模型信息,调用时也未显式传入 model,因此函数抛出 “Model is None” 的 ValueError。

另一层背景(Issue 讨论中明确):ElevenLabs 早期没有直接、唯一的成本计算方式,不同订阅套餐的按字符单价不同,这也使 completion_cost 无法简单返回统一费用。维护者后续说明 ElevenLabs 语音模型已加入价格表(按 API 费率 $0.08 / 1,000 字符计 eleven_multilingual_v2),并且可通过 kwargs["response_cost"] 直接读取 LiteLLM 已算好的费用。

环境排查

  • 确认 LiteLLM 版本:Issue 使用 v1.80.10.rc.2;维护者称该镜像因启动时拉取最新价格表可追踪费用,但需以实际验证为准。
  • 确认 Python 版本(Issue 日志为 Python 3.13)。
  • 确认配置中的模型名是否为 elevenlabs/eleven_multilingual_v2 且请求路由到 /audio/speech。
  • 确认自定义 callback 中 completion_cost 的调用写法,以及是否改用了 kwargs["response_cost"]。
  • 若需按套餐单价计费,确认所用版本是否已包含 #53265 的修复(Issue 中说明“发布后可用”,需自行核对)。
  • 操作系统、CUDA、PyTorch、显卡不在本 Issue 证据范围内,无需作为排查项。

解决步骤

  1. 修改 custom_callbacks.py,将成功回调中的成本获取方式改为读取 LiteLLM 已计算的响应费用:
    import litellm
    from litellm.integrations.custom_logger import CustomLogger
    
    class MyCustomHandler(CustomLogger):
        async def async_log_success_event(self, kwargs, response_obj, start_time, end_time):
            cost_in_usd = kwargs["response_cost"]
            print(cost_in_usd)
    
    proxy_handler_instance = MyCustomHandler()
  2. 重启 LiteLLM Proxy 使 callback 变更生效(沿用原有启动命令与配置挂载)。
  3. 按原方式重新发送 client.audio.speech.create(...) 请求,观察日志中是否还出现 ValueError: Model is None ...。
  4. 如果目标是按 ElevenLabs 套餐单价而不是公开 API 费率计费,可优先尝试在模型配置中添加自定义每字符单价(需版本包含对应修复):
    model_list:
      - model_name: elevenlabs-eleven-multilingual-v2
        litellm_params:
          model: elevenlabs/eleven_multilingual_v2
          api_key: os.environ/ELEVENLABS_API_KEY
        model_info:
          input_cost_per_character: 0.000198

    其中 0.000198 为 Issue 中 Pro 套餐($99 / 500,000 字符)折算的每字符价格示例,请按你自己的套餐单价填写。

验证方法

重新发起一次语音合成请求后,检查 Proxy 日志中不再出现该 ValueError,且 callback 打印出的 kwargs["response_cost"] 为数值(Issue 中维护者复测得到 $0.00336)。若配置了 input_cost_per_character,确认追踪到的费用随该自定义单价变化,而不是固定的列表价。

参考来源

BerriAI/litellm #18058

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36451

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注