一句话看懂：Hugging Face Papers 收录的论文提出 PACE，一种事后四比特循环状态量化方法，通过降低舍入频率、按列共享量化尺度，让线性注意力语言模型在推理时用更少显存同时解码更多序列，且据摘要称无需微调。
事件核心：发生了什么
线性注意力语言模型把上下文压缩进固定大小的循环状态，推理系统要为每条同时解码的序列保存一份该状态，因此状态精度直接决定单张加速卡能容纳多少并发。目前公开信息显示，论文发布时间为 2026 年 10 月 21 日。摘要指出，已有量化器每生成一个 token 就舍入一次状态，四比特通常掉点，需要提高位宽或微调。PACE 改为每隔几个 token 才舍入一次，中间 token 先放入小缓冲，以减少状态误差累积；同时利用门控 delta 状态的大值倾向集中在某些列的特点，在同一列内共享量化尺度，并把舍入误差保留最久的注意力头维持八比特。
为什么重要
大模型推理成本里，并发序列数和支持的上下文长度是关键变量。若四比特状态能保住精度，同等显存可服务更多请求，直接改善线性注意力路线的部署经济性。论文在 4B 至 35B 的四个混合模型上报告：四比特与八比特头混用时，三个较大模型的表现与八比特 DAMP 有竞争力，内存约为其三分之二；全四比特头的得分高于同等内存下的 Q-Mamba。需要说明，这些结果来自论文摘要，任务和评测条件有限，尚不能视为通用排名。
对用户/开发者/创作者的影响
对开发者和推理基础设施团队，PACE 提供了一种事后量化思路：不改模型训练流程，只调整状态舍入节奏与量化粒度，就有机会在下游服务中提升单卡并发。缓冲机制保留了解码加速，意味着省显存不完全以牺牲吞吐为代价。对普通用户和创作者，这类优化短期不会直接改变产品功能，但可能降低长上下文 AI 应用的推理成本，影响 API 定价和响应速度。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 PACE 是否随推理框架或内核开源落地，能否在真实服务负载下复现摘要中的内存与速度收益；二是更多模型规模、长上下文和不同任务上的精度表现是否公开；三是 vLLM、SGLang 等推理生态及线性注意力模型团队是否跟进类似的分块舍入方案。
