斯坦福与伯克利发布TokenGate：长上下文预填充提速最高11.3倍

一句话看懂：斯坦福大学与加州大学伯克利分校的研究人员发布了 TokenGate，这是一个面向大模型长上下文预填充的可学习 token 剪枝模块，据称能在不损失准确率的情况下把首 token 延迟（TTFT）缩短 1.4 至 11.3 倍。

事件核心：发生了什么

根据 MarkTechPost Research 在 2026 年 10 月 25 日的报道，TokenGate 在 Qwen3-1.7B 和 Qwen3.5-2B 上加入一个小型 MLP 门控模块和 LoRA（r=16），对最长 128k token 的上下文做可学习的 token 剪枝。被剪掉的 token 不再进入上层计算，也不会生成 KV 条目。研究团队称，与完整预填充相比，TTFT 提升 1.4 至 11.3 倍，峰值预填充内存降低 1.5 至 3.4 倍；在 NIAH 16k 任务上达到 11.3 倍加速和 3.42 倍内存节省，128k 时 TTFT 收益为 13.0 倍。代码和检查点已以 Apache-2.0 协议在 GitHub 开源。需要说明的是，这些数据来自论文摘要式报道，测试条件为单张 A100、batch size 1，并非第三方复现结果。

为什么重要

长上下文推理的成本很大一部分花在预填充阶段，输入越长，注意力计算和显存占用增长越快。现有免训练剪枝方法在高剪枝率下会掉准确率，改架构又往往要重新预训练。TokenGate 的思路是“插拔式”改造：只训练门控和 LoRA，不动主干模型，并用类似 MoE 路由的偏置技巧解决 top-K 不可微的问题。目前公开信息显示，它在 5 个任务上对比 FastKV、SlimInfer、DASH 等 6 个基线处于帕累托前沿，对混合注意力模型 Qwen3.5-2B 也能在 Gated DeltaNet 层做剪枝，这是不少基线做不到的。

对用户/开发者/创作者的影响

对开发者而言，TokenGate 提供了一条低成本试水路径：已有 Qwen3 系列模型可以加载门控检查点，用 {state} 占位符标记可剪枝的文档部分，并通过预算参数控制保留 token 数；选配的 FlashAttention-2 key-bias kernel 可进一步加速。对做长文档问答、代码仓库检索或多跳推理的团队，预填充提速直接转化为更低的推理成本和更快的首字响应。但素材中的加速比差异较大，部分任务最低只有 1.4 倍，部署前仍需在自己的数据上验证精度和延迟。