一句话看懂：Hugging Face Papers 收录的论文摘要提出 Evolving Infra——一个面向智能体负载的 LLM 推理服务框架，宣称在特定评测条件下较英伟达生产框架 Dynamo 最高降低 4.1 倍端到端时延、P95 首字时延改善最高 14 倍。
事件核心：发生了什么
论文摘要显示，该研究针对智能体（Agent）工作负载的推理服务问题。现有 prefill–decode（PD）分离架构在运行时调整算力分配和 KV cache 管理方面灵活性不足，依赖的粗粒度信号难以完整刻画智能体负载的多样性和动态性，导致 prefill 与 decode 节点间负载不均，并提前驱逐智能体后续还会复用的 KV cache。
Evolving Infra 的思路是把算力分配与 KV cache 管理解耦，使节点可在 prefill 与 decode 之间高效切换；再用在线规划器按负载构成匹配 PD 比例，并借助智能体上下文管理信号指导缓存驱逐与迁移。据摘要，在 GLM-5.2 与 Kimi K2.6 上、最多 256 块 GB300 GPU 的编码、数学和 computer-use 任务中，其端到端平均时延和 P95 TTFT 较 Dynamo 分别最多改善 4.1 倍和 14 倍。以上均为论文摘要说法，未见全文实验核验。
为什么重要
智能体应用正成为 LLM 推理需求的重要来源，但传统服务系统更偏向单轮请求，对多步、上下文反复复用的负载适配有限。若该思路成立，意味着推理基础设施的竞争点会从单纯堆算力，转向运行时调度与缓存管理的精细化。对做 AI 应用的公司而言，这直接关系到单位请求成本和长链路任务的响应稳定性；对云厂商和推理服务商而言，则可能影响其产品差异化方向。
对用户/开发者/创作者的影响
目前公开信息显示，这只是论文层面的框架，并非已上线产品。开发者可关注其“解耦算力分配与 KV cache 管理”的设计是否会被主流推理框架吸收；企业采购推理算力时，可把 PD 比例自适应和缓存复用效率纳入评估维度；普通用户短期内感知有限，但若相关优化落地，智能体类工具在编码、数学和 computer-use 场景中的等待时间有望缩短。
值得关注的后续
一是论文是否公开更多实验细节与可复现代码；二是该方法在非 GB300 硬件和闭源模型上是否同样有效；三是 Dynamo 等生产框架是否会跟进类似调度机制。
