一句话看懂：arXiv 上的一篇新论文提出 GAAC，一种面向个人设备的无损 KV Cache 压缩与推理系统；它在不改变 KV 数值的前提下压缩缓存，并在 NVIDIA DGX Spark 与 Apple M4 上测到注意力与解码提速。
事件核心：发生了什么
2026 年 10 月 28 日提交至 arXiv 的论文《GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices》，作者为 Yipin Guo、Arun M George、Siddharth Joshi。据摘要，GAAC 利用 BF16 指数位的冗余，用逐通道校准的基值加偏移编码来压缩 KV Cache，并按小组自适应调整码宽，同时保证 KV 值逐位不变。配套的融合注意力内核在计算时直接重建 KV 分块，避免解压整个缓存；块级压缩和定容槽位支持增量更新与分页服务。
摘要给出的数据是：五个测试模型上实现 1.405–1.407 倍的无损 BF16 KV 压缩；FP8 E4M3 缓存约 1.09–1.14 倍，E5M2 约 1.25–1.30 倍。在 NVIDIA DGX Spark 上，64K token 上下文的解码注意力加速 1.19–1.27 倍，端到端 W4A16 解码步骤加速 1.04–1.15 倍，常驻 KV 内存减少约 26%，吞吐提升 13–29%。Apple M4 上注意力加速 1.02–1.25 倍。以上均为论文摘要结果，不是已上线产品。
为什么重要
权重量化已经压低了模型存储，但长上下文推理时 KV Cache 随序列增长，成为个人设备和服务端的显存与带宽瓶颈。GAAC 走的是无损路线，不引入 KV 近似，意味着输出质量理论上不受压缩影响，这对需要长上下文、又不想承担质量损失的本地部署场景有吸引力。它同时处理存储和注意力计算带宽，而不是只做压缩，这对边缘设备和小型工作站更实际。
对用户/开发者/创作者的影响
对在本地跑大模型的开发者和创作者，这类工作如果后续开源并集成到推理框架，可能让 64K 级别上下文在消费级显卡或 Apple 芯片上更可用：同样的显存能驻留更多请求，或支撑更长对话与文档分析。对服务端开发者，约 26% 的 KV 内存下降和 13–29% 吞吐提升，意味着同等显存预算下可服务更多并发。不过目前公开信息显示，这只是论文层面的设计与测试，尚无代码发布、框架集成或生产部署的证据。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是作者是否开源实现，以及能否接入 vLLM、llama.cpp 等主流推理框架；二是其他团队能否复现摘要中的压缩比与加速数据，尤其是 FP8 缓存收益明显偏低的问题；三是无损压缩与现有有损 KV 量化方案在实际服务中的组合效果和取舍。
