一句话看懂：论文提出一种把BF16权重无损压到固定12比特的GPU格式NF12，解码开销低于一次BF16拷贝。在Qwen3-32B特定负载下，其吞吐峰值达BF16的2.54倍。
事件核心：发生了什么
据alphaXiv页面，作者于2026年10月28日发布论文，提出NyoomFloat12（NF12）。该方法先对每个权重矩阵做2的幂缩放，使超过99.7%的训练BF16权重的高四位指数恒为0111，再将其丢弃，仅保留符号、低位指数和不变的低字节，8个权重占12字节。对少数越界组，用元字节标记并回退到逐矩阵原值缓冲，不增加组级存储。摘要称，解码走13条寄存器操作加3条逃逸检查，成本低于BF16拷贝。
摘要给出的结果是：带宽受限场景下融合GEMV相对匹配BF16最高1.26倍、相对cuBLAS最高1.35倍，为熵下限理想实现的75%；容量受限场景Qwen3-32B的KV缓存空间增至4.5倍，吞吐最高2.54倍（787对310输出token/s）。需注意，这来自论文摘要的特定模型和共享前缀任务，并非通用性能排名。
为什么重要
此前无损压缩多采用变长编码，GPU线程需解析不同比特数，解码容易成为瓶颈。DFloat11在Llama-3.3-70B上压到约10.79比特/权重，比NF12的12.02更省，但解码复杂度高。NF12的思路是牺牲一点压缩率，换取规则、可并行的固定长度解码，从而让显存带宽和容量收益真正体现在端到端推理中。这为“权重冗余换速度”提供了一条不损失精度的工程路线。
对用户/开发者/创作者的影响
对推理服务开发者，NF12的价值在于同一张GPU可容纳更长KV缓存、支撑更高并发，尤其适合共享前缀的批量生成。但论文尚未说明是否开源代码、是否支持主流推理框架或API，目前公开信息不足以判断落地成本。对使用大模型API的团队，短期内更应关注服务商的吞吐和单价变化，而非默认能获得同等加速。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是NF12是否开源实现并接入vLLM等推理框架；二是在更多模型和真实业务负载上能否复现2.54倍峰值；三是与DFloat11等变长方案的组合或竞争走向。
来源：alphaXiv
