模型路由很简单——直到它不再简单。

一句话看懂：IBM 研究院在构建智能体路由系统时发现，通用的模型选择策略（按价格、难度或速度选模型）在实际生产成本中几乎全部失效。缓存成本、任务隐性复杂度、服务端实时状态等维度，比标价本身对总成本与用户体验的影响更大。

事件核心：发生了什么

7月15日，IBM 研究院在 Hugging Face Blog 发表一篇关于构建模型路由器的实操经验总结。其核心发现基于他们在 417 个 AppWorld 测试任务上的实验：按照“标价更便宜”的直觉，GPT-4.1 应当比 Claude Sonnet 4.6 更省钱，但实际总成本却是 Sonnet 仅需 79 美元（每任务 0.19 美元），而 GPT-4.1 花了 155 美元（每任务 0.37 美元），几乎两倍。原因是 Sonnet 的缓存读取定价更低，在智能体高频复用上下文的工作模式中，抵消了其自身较高的基础定价与更多推理步骤带来的额外开销。此外，预判任务难度、仅凭模型参数大小预估延迟等常见做法都会被实际服务端的缓存状态、硬件负载等因素彻底打乱。

为什么重要

这一发现动摇了当前 AI 应用中对模型路由“轻量级、分类即可”的主流认知。在 AI 智能体与复杂工作流中，选择模型不再是简单的“分类”问题，而是一个涉及成本、延迟、质量、合规与可靠性的联合优化问题。它意味着，开发者如果仅根据 API 定价表格或基础模型参数制定路由策略，很可能在实际生产环境中出现成本失控、响应延迟不如预期的情况。这也说明，头部模型厂商之间的竞争已从“谁的基础价格低”延伸到“谁的缓存策略更优，能否更好适配 agent 长上下文场景”。对于正在构建复杂 AI 应用的企业与开发者而言，路由器自身必须变得轻量且能感知真实的服务状态，才能成为有效的优化工具。

对用户/开发者/创作者的影响

API 开发者与工程师：选择模型时，务必测试实际工作负载下的缓存命中率与总 tokens 消耗，不能只看输入输出单价。一个“慢但缓存友好”的模型可能比“快但缓存低效”的模型更省钱。
AI 应用产品经理：将路由从“简单分类”升级为多目标优化系统，需要考虑合规约束、数据驻留规则与企业审批列表对模型选择的影响，而不仅是性能和价格。
企业采购决策者：评估大模型 API 的成本时，应要求厂商提供缓存定价细则，并基于自身典型的 agent 对话长度与复用率进行对标测试。