[Bug]: Ollama get_model_info constructs redundant path …/api/chat/api/show, causing 404s on remote instances

该报错通常出现在 LiteLLM 连接远程 Ollama 实例并触发后台模型信息检查时,由于 api_base 中残留了 /api/chat 之类的 provider 后缀,LiteLLM 直接拼接出 /api/chat/api/show 这样的畸形 URL,导致远端 Ollama 返回 404。优

快速结论:该报错通常出现在 LiteLLM 连接远程 Ollama 实例并触发后台模型信息检查时,由于 api_base 中残留了 /api/chat 之类的 provider 后缀,LiteLLM 直接拼接出 /api/chat/api/show 这样的畸形 URL,导致远端 Ollama 返回 404。优先排查 api_base 是否已包含 API 路径后缀,以及升级到已修复该问题的 LiteLLM 版本。

适用环境:LiteLLM Python SDK(1.82.6、1.88.2),Docker 部署方式,远端 Ollama 服务通过 OLLAMA_API_BASE 配置。

最快修复方案:暂无确认的一步修复方案。Issue 中维护者表示该问题已在当前 main 分支修复,修复逻辑是“在拼接 /api/show 前先剥离 api_base 中已知的 API 路径后缀”。可优先尝试升级到包含该修复的 LiteLLM 版本;若临时使用旧版本,可参考 Issue 中给出的补丁逻辑,自行清洗 api_base

注意事项:同一 Issue 的评论指出,即使 URL 路径修复成功,使用模型别名(例如 model_name: my-alias 指向 ollama/gemma4:31b-it-qat)时,LiteLLM 仍可能把别名而不是真实模型名发给 Ollama,导致 404 model not found。此问题在该 Issue 中未被确认为已修复,需要单独验证。

问题场景

用户使用 LiteLLM SDK 对接远程 Ollama 实例,通过 ollama_chat/ollama/ 前缀配置模型,并在发起聊天补全后触发后台任务(如成本计算、能力检查)。该后台任务调用 get_model_info 获取模型元数据,但生成的请求 URL 错误,导致 Ollama 返回 404。

报错原文

<pre

参考来源

BerriAI/litellm #25567

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 18301

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注