[Bug]: LM Studio not working with LiteLLM Proxy

快速结论：该报错发生在使用 LiteLLM Proxy 转发请求到仅提供同步 OpenAI 兼容端点的本地模型（如 LM Studio）时，LiteLLM Proxy 默认使用异步请求导致连接失败。优先排查 LiteLLM Proxy 配置中的 api_base 路径是否完整，以及 Docker 环境下的网络可达性。

适用环境：LiteLLM v1.71.1，Python 3.11，LM Studio 运行在本地端口 1234，LiteLLM Proxy 运行在 Docker 容器中。

最快修复方案：暂无确认的一步修复方案。可优先尝试将 LiteLLM Proxy 配置中的模型 api_base 设置为完整的 URL（如 http://host.docker.internal:1234/v1/chat/completions），并在 Docker 启动时添加 --add-host host.docker.internal:host-gateway 或使用宿主机 IP 地址。

注意事项：该方案为推测，Issue 中未提供验证后的修复步骤；在非 Docker 环境也可能因路径缺失导致问题，需同样检查 api_base 结尾。

问题场景

用户在本地通过 LM Studio 运行了一个仅提供同步 OpenAI 兼容端点的模型（URL 类似 http://localhost:1234/v1/chat/completions）。该模型可直接被 OpenAI Python SDK、LiteLLM Router（同步调用）以及 curl 正常使用。但当用户将此模型配置到 LiteLLM Proxy 时，Proxy 内部使用异步 acompletion 方法发起请求，导致连接失败并抛出 litellm.APIError: APIError: OpenAIException - Connection error。

报错原文

httpx.ConnectError: Cannot connect to host 127.0.0.1:1234 ssl:default [Connect call failed ('127.0.0.1', 1234)]

openai.APIConnectionError: Connection error.

litellm.llms.openai.common_utils.OpenAIError: Connection error.

原因分析

可能原因有两个方面：

网络隔离问题：LiteLLM Proxy 运行在 Docker 容器内，请求中的 127.0.0.1 指向容器自身，而不是宿主机的 LM Studio。容器无法通过 127.0.0.1 访问宿主机服务。
API 路径不完整：用户打印出的 POST 请求显示 LiteLLM Proxy 发送的 URL 为 http://127.0.0.1:1234/v1/，缺少 /chat/completions 路径。LM Studio 的 OpenAI 兼容端点通常需要完整的 /v1/chat/completions 路径。

环境排查

LiteLLM 版本：v1.71.1（Issue 中使用的版本）
Python 版本：3.11（容器内的 Python 版本）
LM Studio API 端点：确认端点 URL 路径是否为 http://localhost:1234/v1/chat/completions（参考 LM Studio 文档）
部署方式：LiteLLM Proxy 是否运行在 Docker/容器中？
模型配置：LiteLLM Proxy 的 YAML 配置文件中 model_list 下对应模型的 api_base 是否为完整路径（http://host:port/v1/chat/completions）

解决步骤

检查网络可达性：如果 LiteLLM Proxy 在 Docker 容器中运行，请在 Docker 启动命令中添加 --add-host host.docker.internal:host-gateway，并将 api_base 中的 IP 改为 host.docker.internal（例如 http://host.docker.internal:1234/v1/chat/completions）。若为宿主机直接运行，确保 api_base 使用正确的宿主机 IP 或 localhost。

修正 API 路径：在 LiteLLM Proxy 的 YAML 配置中，明确设置 api_base 为包含完整端点的 URL，例如：