OpenRouter 推出 Prompt Caching + Sticky Routing,降低多轮 Agent 调用成本

OpenRouter 在 2026 年 7 月 21 日宣布,通过整合 Prompt Caching(提示缓存)与 Sticky Routing(粘性路由),使多轮 Agent 会话中重复的提示词部分能以更低价格复用,同时避免因请求被路由到不同提供商节点而导致缓存失效。此项更新直接减少了开发者在构建 Agen…

OpenRouter 推出 Prompt Caching + Sticky Routing,降低多轮 Agent 调用成本

一句话看懂:OpenRouter 在 2026 年 7 月 21 日宣布,通过整合 Prompt Caching(提示缓存)与 Sticky Routing(粘性路由),使多轮 Agent 会话中重复的提示词部分能以更低价格复用,同时避免因请求被路由到不同提供商节点而导致缓存失效。此项更新直接减少了开发者在构建 Agent 时因重复发送系统提示、工具定义等信息而产生的成本。

事件核心:发生了什么

OpenRouter 在其博客中发布了关于 Prompt Caching 和 Sticky Routing 的联合功能教程。核心机制是将多轮对话中反复出现的提示词(如系统提示、工具定义、JSON 模式、安全策略等)缓存,后续请求只需支付“缓存读取”费用,通常仅为正常输入价格的 0.1 倍至 0.5 倍。例如,Anthropic Claude Sonnet 4.6 的缓存读取价格为 $0.30/M token,而正常输入价格为 $3.00/M token。

关键变化在于引入了“粘性路由”:当第一轮请求成功触发缓存写入后,后续请求会被固定路由到同一提供商端点,确保缓存不被“冲凉”。此外,OpenRouter 还提供了 session_id 参数,允许开发者从第一轮起就强制绑定路由,大大减少缓存失效的概率。数据显示,在一个 6 轮对话的 Agent 会话中,若没有缓存和粘性路由,同一段提示词会被重复计费 6 次。

为什么重要

对于 AI 应用开发者而言,多轮 Agent 调用中重复提示词的成本一直是个隐形成本黑洞。此前,即使用户启用了 Prompt Caching,如果 API 请求被 OpenRouter 随机分发到不同的底层模型提供商(如从 Anthropic 切到 Grok),缓存会立刻失效,第一轮的“缓存写”成本就白花了。Sticky Routing 弥补了这空白:它将路由调度和缓存生命周期绑定,使缓存的经济价值能够跨越整个 Agent 会话周期。

另一个关键点是缓存写入与读取的价格差异。许多提供商(如 Anthropic)的缓存写入费用高于正常输入(1.25 倍或 2.0 倍)。这意味着,若没有粘性路由保证后续请求复用,缓存写入可能成为负收益。这一组合功能让“缓存写”的投资能在 2-3 轮内回收,从而显著降低高频 Agent 应用的 API 总成本。

对用户/开发者/创作者的影响

对于 Agent 开发者,这直接转化为更低的 API 账单。使用相同的系统提示和多轮工具调用场景,成本可下降 50%-90%,具体取决于模型和会话长度。特别是使用 Anthropic、OpenAI、DeepSeek 等模型构建复杂 Agent 的团队,应优先启用 session_id 和粘性路由。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于普通用户或内容创作者,影响偏间接。更低的 API 成本通常意味着 AI 产品(如代码助手、客服机器人、自动写作工具)可以维持更低的使用费用或提供更长会话的免费额度。长期看,这可能推动 Agent 类应用的价格整体下降。

对于企业采购决策者,需要注意模型间的差异——部分模型(如 Google Gemini、Grok)的缓存写入免费,而 Anthropic 和 OpenAI 的新模型则收费。选择模型组合时,需要结合会话长度、提示词重复度以及缓存 TTL(5 分钟 vs 1 小时)来评估实际节省。

值得关注的后续

1. 更多提供商是否会调整缓存写入定价:目前 Anthropic 和 OpenAI 的缓存写入成本较高,未来如果改为免费或降低倍数,将更有利于 Prompt Caching 的普及。

2. Sticky Routing 对多模型 Agent 的适用性:在构建需要不同模型(如一个模型负责任务规划,另一个模型负责代码生成)的 Agent 时,粘性路由如何与模型切换机制共存,仍有待观察。

3. 缓存命中率与路由策略的透明化:OpenRouter 提供了 cached_tokens 字段供开发者验证缓存是否生效,但跨提供商的缓存失效原因仍未完全公开。开发者可能需要自行监控缓存命中率,以优化 session_id 的使用策略。

来源:OpenRouter:Announcements(RSS)

celebrityanime
celebrityanime
文章: 14524

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注