Anthropic 推出 Message Threads:长对话首字延迟降约 35%

Anthropic 在 Claude 平台上以公开测试版推出 Message Threads,让长对话的 API 请求不必每次重发完整历史,而是只传增量内容。据 Anthropic 说法,在 50 万到 100 万 token 区间的请求中,首 token 时间(TTFT)约降低 35%,这对需要连续上下文的…

一句话看懂:Anthropic 在 Claude 平台上以公开测试版推出 Message Threads,让长对话的 API 请求不必每次重发完整历史,而是只传增量内容。据 Anthropic 说法,在 50 万到 100 万 token 区间的请求中,首 token 时间(TTFT)约降低 35%,这对需要连续上下文的智能体和文档处理场景更友好。

事件核心:发生了什么

Anthropic 于 2026 年 11 月 3 日发布 Message Threads,目前挂在 Claude 平台上,状态是公开测试版。此前每次 API 调用都要把整段对话历史重新传来;新机制只发送上一条消息之后发生变化的部分,由服务端保留线程上下文。

官方给出的性能数据是:在 50 万至 100 万 token 的请求中,首 token 时间缩短约 35%。线程在两次请求之间以加密形式保存在内存中,空闲五分钟后过期。需要说明的是,这并不减少 token 计费,因为 Claude 依然要读取完整对话历史。该功能可在 Claude 平台使用,也覆盖 AWS、Microsoft Foundry 和 Google Cloud 渠道。

为什么重要

长上下文一直是大模型推理的成本与延迟焦点。开发者虽然可以塞进更长的对话,但每轮请求都重传全量历史,会让网络传输和服务端预处理反复付出代价,首 token 延迟随之上升。Message Threads 把优化做在了“传输层”而不是“模型层”:不改变模型读数,只减少重复搬运。

对 Anthropic 来说,这更像 API 基础设施的补课,目标是缩小与竞品在开发者体验上的差距。编码代理、计算机操作代理,以及需要批量处理文档和图像的工作流,是官方点名的受益场景。这些应用往往对话轮次多、上下文长,对交互响应更敏感。

对用户/开发者/创作者的影响

开发者最直接的变化,是在长对话循环里少传一大段历史,首字响应更快,但计费口径不变,预算模型不需要重算。需要留意线程状态的生命周期:空闲五分钟即过期,意味着间歇性交互或长任务中断后再续聊,可能要重新建立上下文。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

如果你在 AWS、Microsoft Foundry 或 Google Cloud 上调用 Claude,该功能同样适用,不必迁移平台。对普通用户而言,变化感知有限,更多体现在代理类产品响应更跟手;对创作者和文档处理团队,批量任务中的等待时间可能缩短,但具体收益仍取决于请求长度和调用频率,目前公开信息只覆盖上述 token 区间。

值得关注的后续

一是公开测试版能否稳定支撑生产流量,尤其是多轮代理任务的线程管理和过期行为。二是竞品是否跟进类似的增量传输机制,长上下文 API 的竞争可能从“能塞多少 token”转向“每轮传多少”。三是定价与限额是否调整,以及文档中是否披露更多请求规模下的延迟数据。素材未提供 50 万 token 以下请求的基准,这部分效果尚待观察。

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 32231

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注