两比特压缩嵌入表:N-Gram 记忆量化让 DeepSeek 查表存储从 203GB 降至 51GB

一篇 2026 年 10 月 16 日发布在 Hugging Face Papers 的论文提出“条件程序”(CP)表示法,把大模型条件记忆中的嵌入查找表压到 2 比特级别,摘要称在 DeepSeek 场景下可将表存储从 203GB 降到 51GB,从而为 GPU 上保留更大的查找表腾出空间。

一句话看懂:一篇 2026 年 10 月 16 日发布在 Hugging Face Papers 的论文提出“条件程序”(CP)表示法,把大模型条件记忆中的嵌入查找表压到 2 比特级别,摘要称在 DeepSeek 场景下可将表存储从 203GB 降到 51GB,从而为 GPU 上保留更大的查找表腾出空间。

事件核心:发生了什么

论文关注的是“条件记忆”这类通过选择性查找扩充语言模型能力的结构。问题在于,嵌入表虽然每次只用到少数行,却必须对任意输入保持完整可用,存储成本随表规模线性上升。作者提出 Conditional Program:每行用短码加局部尺度表示,并共享一套重建程序,使模型只重建被请求的行。具体实现包括高斯 trellis、范数恢复和可独立解码的行记录。按摘要数据,2 比特编码相比 2-bit round-to-nearest 将输出 KL 降低 41%–63%;在三种已训练的 n-gram 记忆家族上,匹配存储预算时共享 trellis 优于拟合码本和低秩残差方案。在 DeepSeek 案例中,表存储由 203GB 降至 51GB。需要说明,以上均来自论文摘要,全文实验细节尚未在本素材中核验。

为什么重要

大模型的容量竞争不只在参数和算力,也体现在推理时能放多大的查找表。若共享重建程序能在低比特下保持输出质量,嵌入表就有机会常驻 GPU,减少主机内存与显存之间的搬运。对行业而言,这指向一条不同于单纯堆参数的技术路线:用压缩表示和共享解码程序换取存储效率,可能影响条件记忆、检索增强和长尾知识存储的设计取舍。不过目前公开信息显示,这仍是论文层面的方法,尚未成为可调用的产品或 API。

对用户/开发者/创作者的影响

对开发者,值得关注的是“共享程序 + 每行独立解码”的接口思路:如果后续有开源实现,部署大模型时或可用更少显存承载更大的记忆表。对企业采购和推理服务商,存储节省会直接影响单卡可服务的工作负载,但降本幅度取决于模型是否采用同类条件记忆结构。对普通用户和创作者,短期体验不会改变;长期看,若压缩表让更大规模记忆进入推理,模型在专有知识和长尾事实上的回答质量可能受益,但这需要产品化验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否公开代码或权重,并给出可复现的端到端评测;二是 2 比特方案在更多模型家族和任务上的质量损失是否仍可控,摘要只覆盖三类 n-gram 记忆家族;三是 DeepSeek 类模型或推理框架是否会跟进类似的查找表量化方案,以及显存节省是否能转化为实际吞吐或成本变化。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29551

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注