/v1/rag/query endpoint does not resolve vector store credentials from vector_store_registry config

快速结论：这个报错通常出现在使用 LiteLLM 的 /v1/rag/query 接口、且向量库凭据配置在 vector_store_registry（如 Azure AI Search）而非请求体中的场景；优先升级到 v1.101.0 或更高版本，因为该修复已在该版本合入发布。

适用环境：Issue 中已确认的环境为 LiteLLM 1.92.0、Python 3.13、向量库提供商 Azure AI Search（通过 vector_store_registry 配置）、部署方式 Docker / ECS Fargate。

最快修复方案：升级 LiteLLM 到 v1.101.0（该修复由 #34788 与 #39452 合入并在 v1.101.0 发布）。

注意事项：Issue 中未提供升级后的详细回归验证步骤，升级后请按“验证方法”自行确认；若升级后仍失败，原报告者表示会重新打开 Issue。

问题场景

在 LiteLLM Proxy 中配置了 vector_store_registry，并把向量库（例如 Azure AI Search）的 custom_llm_provider、api_key、api_base 等凭据写在 registry 里。此时调用独立搜索接口 /v1/vector_stores/{id}/search 正常，但调用 /v1/rag/query 做 RAG 检索时失败，检索步骤会去连 OpenAI 官方域名，而不是 registry 中配置的 Azure AI Search 端点。

报错原文

{"detail": {"error": "litellm.APIConnectionError: openai - Cannot connect to host api.openai.com:443"}}

如果在 retrieval_config 中显式指定 "custom_llm_provider": "azure_ai"，报错会变为：

Azure AI Search service name is required. Provide it via litellm_params['azure_search_service_name'] or api_base parameter

原因分析

根据 Issue 正文的分析，/v1/rag/query 内部执行检索时直接调用了 litellm.vector_stores.asearch()，绕过了独立搜索接口使用的 _update_request_data_with_litellm_managed_vector_store_registry()，因此没有从 vector_store_registry 解析凭据。结果 custom_llm_provider 始终回落到默认值 "openai"，检索步骤去连 api.openai.com；即使手动指定 azure_ai，registry 中的 api_key、api_base 等参数也没有被注入，因而抛出缺少 Azure AI Search 服务名的错误。

环境排查

确认 LiteLLM 版本：Issue 中报告版本为 1.92.0，需确认是否已升级到 v1.101.0 或更高。
确认 Python 版本：Issue 中为 3.13。
确认 vector_store_registry 的 YAML 配置是否包含向量库 provider 的完整凭据（custom_llm_provider、api_key、api_base、vector_store_id 等）。
确认部署方式与运行环境：Issue 中为 Docker / ECS Fargate，注意环境变量（如 AZURE_SEARCH_API_KEY、AZURE_SEARCH_ENDPOINT）是否已注入到容器。
确认独立接口 /v1/vector_stores/{id}/search 是否可正常返回，以区分是 registry 配置问题还是 RAG 链路未解析 registry 的问题。

解决步骤

将 LiteLLM 升级到 v1.101.0 或更高版本。该修复由 PR #34788 与 #39452 合入，并在 v1.101.0 发布（依据维护者在 Issue 中的回复）。
升级后重启 LiteLLM Proxy 服务，确保新版本镜像或包实际生效。
重新调用 /v1/rag/query，验证检索步骤是否已按 vector_store_registry 解析到 Azure AI Search 凭据。
如暂时无法升级，Issue 中提到的临时做法是拆成两步：先调用可正常工作的独立搜索接口，再把检索结果作为上下文交给模型，但这并非 Issue 中已验证的一步修复方案。

验证方法

升级到 v1.101.0 后，使用与报错时相同的 /v1/rag/query 请求（同一 vector_store_id、同一 registry 配置）再次调用。若不再出现 Cannot connect to host api.openai.com:443，且检索步骤命中 Azure AI Search 端点、返回预期结果，即可认为问题已解决。