[Feature]: Support OpenAI frontier models (gpt-5.5 / gpt-5.4) on bedrock-mantle via the /openai/v1/responses path

用户在 LiteLLM 中调用 AWS Bedrock Mantle 上托管的 OpenAI 前沿模型( openai.gpt-5.5 、 openai.gpt-5.4 )时,触发如下错误。这些模型仅在 us-east-2 区域可用,且仅支持 Responses API( /openai/v1/re

[Feature]: Support OpenAI frontier models (gpt-5.5 / gpt-5.4) on bedrock-mantle via the /openai/v1/responses path

[Feature]: Support OpenAI frontier models (gpt-5.5 / gpt-5.4) on bedrock-mantle via the /openai/v1/responses path

快速结论:LiteLLM 目前缺少对 Bedrock Mantle 上 OpenAI 前沿模型(gpt-5.5 / gpt-5.4)的 /openai/v1/responses 路由支持,导致报错 400 invalid_request_error: The model 'openai.gpt-5.5' does not support the '/anthropic/v1/messages' API。优先检查 LiteLLM 版本是否 >=1.87.1,并确认是否使用了正确的 api_baseroute_all_chat_openai_to_responses: true 配置。

问题场景

用户在 LiteLLM 中调用 AWS Bedrock Mantle 上托管的 OpenAI 前沿模型(openai.gpt-5.5openai.gpt-5.4)时,触发如下错误。这些模型仅在 us-east-2 区域可用,且仅支持 Responses API(/openai/v1/responses 路径),不支持 Chat Completions / Converse / Invoke。LiteLLM 现有的 bedrock/mantle/ 路由硬编码为 /anthropic/v1/messages(Claude Mythos 路径),bedrock_mantle/ 路由硬编码为 /v1/chat/completions,均无法路由到正确路径。

报错原文

400 invalid_request_error: The model 'openai.gpt-5.5' does not support the '/anthropic/v1/messages' API

或:

The model 'openai.gpt-5.4' does not support the '/v1/chat/completions' API

原因分析

LiteLLM 官网尚未为 Bedrock Mantle 上的 OpenAI 模型(openai.*)提供指向 /openai/v1/responses 的路由。现有 bedrock/mantle/ 路由(PR #26196, #27943)固定指向 Anthropic Messages 路径,bedrock_mantle/ 路由(PR #22866)固定指向 Chat Completions 路径,导致模型不兼容错误。此外,对于需要 IAM/SigV4 认证的部署场景(如 EKS + IRSA),解决方案可能还依赖 Bearer API key,不能满足所有安全要求。

环境排查

  • 确认 LiteLLM 版本:v1.83.14 及以下版本均无此路由;v1.87.1 及以上版本已合并相关 PR (#29490)。
  • 确认 AWS 区域:模型仅在 us-east-2 可用。
  • 确认认证方式:IAM Role (SigV4, IRSA, Pod Identity, instance role) 还是 Bearer API key。
  • 确认部署方式:EKS、ECS、本地部署等。

解决步骤

  1. 升级 LiteLLM 到 v1.87.1 或更高版本。 此版本合并了 PR #29490,添加了价格映射和对 openai/ + api_base 的初步支持。
  2. 配置模型和 API Base:litellm_params 中设置 model: "openai/openai.gpt-5.5"api_base: "https://bedrock-mantle.us-east-2.api.aws/openai/v1"
  3. 启用 Responses API 路由:litellm_settings 中添加 route_all_chat_openai_to_responses: true
  4. 认证配置:
    • 如果使用 Bearer API key:在 api_key 中填入从 AWS Bedrock 控制台生成的 API Key。
    • 如果使用 IAM Role / SigV4(可优先尝试,但此方案当前可能未原生支持):需要等待官方进一步支持。Issue 中提到的暂缓方案是使用本地 SigV4 签名代理。
  5. 可选参数:添加 drop_params: trueadditional_drop_params: ["output_config"] 以丢弃不支持的参数。
  6. 验证调用:使用 Python 代码调用 litellm.responses(),示例:
    import os, litellm
    resp = litellm.responses(
        model="openai/openai.gpt-5.5",
        api_base="https://bedrock-mantle.us-east-2.api.aws/openai/v1",
        input="Hello, what is AI?",
        ...
    )
    print(resp)
    
  7. 成本追踪:如果需要准确的成本映射,确保 PR #29490 合并到你的版本中,否则模型会记录 $0 费用。

验证方法

调用成功后,返回的应是标准的 OpenAI Responses API 响应负载(包含 idobjectoutput 等字段)。不再出现 400 invalid_request_error 错误。对于 IAM SigV4 场景,建议直接发送手动签名的 SigV4 POST 请求到 https://bedrock-mantle.us-east-2.api.aws/openai/v1/responses 验证模型和端点本身可用。

参考来源

BerriAI/litellm #29463

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

celebrityanime
celebrityanime
文章: 8943

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注