[Bug]: Azure AI Claude Mythos 5.1 has no cost-map entry and records zero spend

当你在 LiteLLM 中通过 Azure AI(Microsoft Foundry)调用 Claude Mythos 5.1(模型路由为 azure_ai/claude-mythos-5-1 )时,如果成本表里缺少这个 provider 专有条目,成本 API 就会抛出 ModelNotMappe

快速结论:当你在 LiteLLM 中通过 Azure AI(Microsoft Foundry)调用 Claude Mythos 5.1(模型路由为 azure_ai/claude-mythos-5-1)时,如果成本表里缺少这个 provider 专有条目,成本 API 就会抛出 ModelNotMappedError,而实际调用虽然能成功、usage 也有值,但代理记录的 spend 却是 0。应优先确认成本表中是否存在 Azure AI 专属的模型条目。

适用环境:Issue 中确认的环境为 LiteLLM 1.109.0(在 upstream main 的 baddc67041e0888b8bcdc32d43e86c946c867c76 上也能复现);部署方式为 Docker。复现脚本是纯 SDK 成本计算,不需要凭据,也不发起 provider 调用。Issue 未提供操作系统、Python、CUDA 或显卡信息。

最快修复方案:暂无确认的一步修复方案。Issue 已在评论中说明该问题由 #49361 修复,azure_ai/claude-mythos-5-1 条目已进入 main 分支,价格采用 Anthropic 公布的费率(输入 1e-05、输出 5e-05),并在 de0b38920 上验证通过;可优先尝试升级到包含该修复的 LiteLLM 版本。

注意事项:评论中的修复结论对应 main 分支的提交,本次讨论没有说明具体是哪个正式发布版本包含这项修复,升级前请自行确认版本。另外,修复只涉及成本表中“采用目录默认定价”的条目,与 #49625 讨论的“按已选部署覆盖价格”的行为是两回事。

问题场景

用户在 LiteLLM 中通过 Azure AI 接入 Microsoft Foundry 提供的 Claude Mythos 5.1,配置中把 model 写成 azure_ai/claude-mythos-5-1,api_base 和 api_key 从环境变量读取,并且没有配置自定义 token 价格,也没有配置 base model。在这个配置下:provider 调用可以成功,usage 非零,但代理侧把这次调用记为零花费;单独调用成本 API 查询该模型时,则会抛出 ModelNotMappedError,进而影响依赖已记录费用做计算的对账和预算功能。

报错原文

ModelNotMappedError: This model isn't mapped yet. model=claude-mythos-5-1, custom_llm_provider=azure_ai. Add it here - https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json.

原因分析

问题出在成本表缺少 provider 维度的条目。claude-mythos-5-1 这个不带 provider 前缀的条目归属于 anthropic provider;按 get_model_info 的输出,它的元数据为 litellm_provider: anthropic、输入 1e-05、输出 5e-05。但 Azure AI 的 lookup 要求存在 azure_ai/claude-mythos-5-1 这样的专用条目;当这个条目缺失时,现有 provider 匹配规则不会把这个纯模型名条目用于 azure_ai,所以报错的结论是模型尚未映射。其他 Claude 模型已经有各自的 azure_ai/claude-... 条目,而 Mythos 5.1 是遗漏的那个。

环境排查

  • 确认 LiteLLM 版本:Issue 在 1.109.0 以及 upstream main 的 baddc67041e0888b8bcdc32d43e86c946c867c76 上复现。
  • 确认部署方式为 Docker,并与 Issue 环境保持一致,避免混入镜像外部的依赖差异。
  • 确认配置的模型路由确实为 azure_ai/claude-mythos-5-1,且未设置自定义 token 价格或 base model。
  • 用成本表检查当前版本是否存在 azure_ai/claude-mythos-5-1 条目;可以在本地成本表模式下运行 Issue 提供的复现脚本进行确认。

解决步骤

  1. 先在本机按 Issue 的复现方式,用本地成本表运行成本查询,确认当前版本仍会抛出 ModelNotMappedError:LITELLM_LOCAL_MODEL_COST_MAP=true,调用 get_model_info("claude-mythos-5-1", custom_llm_provider="anthropic") 和 cost_per_token(model="claude-mythos-5-1", custom_llm_provider="azure_ai", ...)。
  2. 升级到包含 #49361 修复的 LiteLLM 版本。按评论,该提交之后 main 分支已包含 azure_ai/claude-mythos-5-1 条目,费率为输入 1e-05、输出 5e-05,并在 de0b38920 上验证通过。
  3. 重新部署代理后,用同样的路由发送一次正常请求,检查 usage 记录与 spend 记录是否同时非零。
  4. 如果升级后仍无条目,请核对实际运行版本是否确实包含该修复,而不是仅凭镜像 tag 判断。

验证方法

升级后,cost_per_token 对 azure_ai/claude-mythos-5-1 应不再抛出 ModelNotMappedError,并能返回非零的输入、输出费用;在代理中,一次成功的、未命中缓存的请求应记录对应的 charge,spend 不再为零,相关对账和预算数据也应恢复正常。

参考来源

BerriAI/litellm #49865

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 33292

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注