谷歌开源 TPU Sync：KV Cache 传输延迟降 90%，支持 PyTorch 与 JAX

一句话看懂：Google Cloud 开源了 C++ 库 TPU Sync，专门在 Cloud TPU 上搬运 KV Cache 和模型权重；Google 称在大 MoE 模型上 KV 传输延迟降低超过 90%。这指向一个现实瓶颈：推理正在被“搬运模型状态”拖慢，而不再是单纯算不动。

事件核心：发生了什么

2026 年 11 月，Google Cloud 发布开源项目 TPU Sync，采用 Apache-2.0 许可。它把 TPU HBM、主机 DRAM、共享存储和数据中心网络当作一层统一的内存层级，用异步 DMA 搬迁 TPU 分块张量，主要服务两类场景：推理阶段的 KV Cache 状态转移，以及强化学习中训练器到采样器的权重广播。

按 README 和 Google 公布的内部数据，库提供原生 C++ 核心与 PyTorch、JAX 的 Python wheel，已在 TPU v7x（Ironwood）和 v6e 上测试，基准环境为 TPU v7x（2x2x1）、PCIe Gen5 与 200 Gbps 网卡。在 7 月的内测中，Qwen3 235B 的中位 KV 传输延迟从数秒降到约 230 毫秒；P/D 分离服务下，235B 和 480B 的平均首 token 延迟分别下降 60% 和 90%。

为什么重要

大模型推理的拆分式架构（prefill 与 decode 分节点）和前缀缓存，都依赖 KV Cache 在设备、主机和节点之间流动。传统做法往往经过 Python 序列化或 XLA 编译，容易在数据路径上产生额外开销。TPU Sync 的设计是不改变 TPU 原生 tile 布局直接拷贝、在计算期间并行传输、并把重分片放在 XLA 图之外完成，从工程上压缩了这段搬运算力。

这也让 TPU 生态在 KV Cache 传输层上有了对标 NVIDIA Dynamo KVBM/NIXL、LMCache、Mooncake 这类 GPU 侧方案的工具。Google 表示 vLLM-TorchTPU、SGLang-TorchTPU 和 GKE 上的 llm-d 1.0 已接入，Meta 与 Wayfair 在评估该架构。

对用户/开发者/创作者的影响

如果你在 TPU 上跑 PyTorch 或 JAX 推理，尤其是 MoE 大模型、长上下文前缀缓存或分离式部署，这个库可能直接改善首 token 延迟和吞吐。通过 vLLM 和 SGLang 的 TPU 分支，接入方式主要是替换底层 KV 连接器，而不必重写模型。对普通用户和内容创作者，短期内感知有限，但推理成本与响应速度的改善通常会沿着 API 价格和产品体验传导。