一句话看懂：TokenSpeed 独立贡献者尚旭春在 AICon 2026 深圳站分享了面向 Agent 推理的新引擎设计，提出延迟约束下的吞吐目标，并披露在 Blackwell 平台上的阶段性测试数据。
事件核心：发生了什么
2026 年 11 月，InfoQ CN 刊出 TokenSpeed 项目分享。该项目针对 Agent 场景多轮短请求、长前缀反复命中的负载特征，重构推理引擎：控制面用 C++ 状态机管理请求生命周期，Runtime 用 Python 执行计划，Kernel 独立成包。KV Cache 从 Radix Tree 迁移到 Flat KV 双层 block 设计。以 TensorRT-LLM 为基准，batch size 为 1 时端到端延迟快 9%，每用户 100 TPS 时每 GPU 吞吐高 11%；上下文从 128K 扩展到 1M，解码吞吐仅降 16%。
为什么重要
传统聊天推理引擎以打满 batch 为目标，而 Agent 请求依赖工具调用循环，更在意延迟与缓存复用。目前公开信息显示，TokenSpeed 将优化目标改为每用户 TPS 不低于 70 的前提下提升吞吐，并把并行切分从模型代码中抽离，由 Placement 系统编译期生成通信计划。这降低了新模型接入和 MoE、线性注意力等架构适配的维护成本，也为 NVIDIA Blackwell 与 AMD CDNA 的算子优化留出空间。
对用户/开发者的影响
对开发者而言，分层解耦意味着调度策略与底层算子可以独立迭代，减少资源泄漏类 bug。关注推理成本的企业可留意其 KV 复用能力：DeepSeek 据称复用率超 99%，业界多在 70% 到 80%，若 TokenSpeed 在 Agent 负载下接近前者，长上下文应用成本会明显下降。不过上述性能数据仅限演讲披露的测试条件，尚不代表生产环境普遍表现。
值得关注的后续
一是 TokenSpeed 是否开源及版本节奏；二是 Mooncake KV Store 接入后的实际缓存命中率；三是 Blackwell 之外 AMD 平台的支持进展，以及 Kimi K3 等新架构模型的适配稳定性。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
来源：InfoQ CN
