一句话看懂：研究人员提出 TokenGate，一个可挂在现有大模型上的小型可学习模块，能在长上下文预填充阶段跳过无关 token，从而降低首 token 时延和显存峰值，同时宣称不损失精度。
事件核心：发生了什么
2026 年 10 月 19 日，alphaXiv 收录的论文介绍了 TokenGate：在模型某一层之前正常处理全部输入 token，之后由一个小型评分网络为每个 token 打重要性分数，只保留 top-K 继续向上层计算，问题等指定 token 则不被剪掉。难点在于 top-K 不可导，作者用“token-gated attention”给保留 key 的注意力 logit 加上与重要性分数相关的偏置，使任务损失的梯度能回传到评分网络，无需辅助损失。摘要给出的结果是在多种任务上首 token 时延（TTFT）快 1.4–11.3 倍、峰值显存低 1.5–3.4 倍且不损失精度；相比此前剪枝方法，预填充最高快 6.4 倍、显存低 2 倍。论文称可轻量适配 Qwen3 等标准 Transformer 及 Qwen3.5 等混合注意力模型，并公开代码。以上为论文摘要口径，尚未见同行评审结论。
为什么重要
长上下文推理的成本大头在预填充：每个输入 token 都要过每一层，直接决定首字延迟和单卡可并发请求数。TokenGate 走的是“训练时学会剪枝、推理时直接跳过”的路线，与此前依赖注意力分数或分块启发式的 FastKV、SlimInfer 不同，强调剪枝策略能与主干共同训练。若结果可复现，对长文档问答、代码仓库理解等场景的推理成本是有意义的优化。
对用户/开发者/创作者的影响
对开发者，它是一个“插件式”改动，适配成本接近常规参数高效微调，但需要重新训练评分模块，不能直接开箱即用；对用户，可能体现为长文档问答等待更短、服务端能承载更多并发；对使用开源模型的团队，若代码可用，可评估在自有部署上替换预填充流程。目前公开信息显示这只是研究阶段方案，没有云厂商或 API 提供方宣布集成。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是剪枝比例 K 如何随任务调整，摘要给的 95% 精度是在 2WikiMultihopQA 等特定评测下的结果，泛化性待验证；二是方法论是否被主流推理框架（如 vLLM）采纳；三是开源实现的质量与显存实测是否与论文一致。
来源：alphaXiv
