一句话看懂：alphaXiv 上的一篇技术论文提出 WT-Engine 和 .wtq1 v2 权重量化格式，把 Qwen3-8B 的线性权重压到 3.76 bpw、约 3,110 MB，在论文测试条件下接近 GGUF Q8_K 的输出保真度，而后者体积约大 2.4 倍。
事件核心：发生了什么
论文以 Qwen3-8B（36 层、252 个线性模块）为对象，比较了几种权重量化方案：FP16 权重约 13,248 MB；GGUF Q8_K（9.125 bpw）约 7,555 MB，与 FP16 的 KL 散度为 0.0020 nats；3 位 GGUF Q3_K 虽能压到 2,846 MB，但 36 层输出分布漂移到 KL 散度 0.3464 nats。作者提出的 .wtq1 v2 采用“符号位 + 2 位非均匀幅度查表 + 块缩放”作为小型载体，再叠加 int8 低秩残差修正，最终为 3.76 bpw。在 1,000 token 自由生成测试中，报告 KL 散度 0.0073 nats、HiddenCos 0.99737、Top-1 96.7%。单张 NVIDIA L4 上转换耗时 37.8–54.1 秒。
为什么重要
大模型推理的显存占用很大一部分来自权重，低比特量化是降低部署门槛的直接路径。但低比特往往会牺牲输出分布，Q3_K 的例子说明“塞进 3 GB”不等于“能用”。这项工作的价值在于把“低比特存储”和“输出保真”同时作为目标：作者发现仅在提示词上对齐不够，自由生成到约第 215 个 token 时会进入校准子空间之外的方向而崩坏，于是改为全空间修正，并让 down_proj 补偿前层累积误差。对关注端侧和低显存推理的开发者，这是值得跟踪的一条技术路线。
对用户/开发者/创作者的影响
目前公开信息显示，这仍是一篇论文，不是已发布的开源工具或可调用 API，也没有证据表明已通过独立复现。开发者可关注三点：一是 3.76 bpw 下线性权重约 3.1 GB，若后续配套推理内核落地，单卡低显存运行 8B 级模型会更现实；二是方法依赖校准和低秩修正，转换流程相对 GGUF 更复杂，需要评估部署成本；三是论文口径只覆盖线性权重负载，不等于整个模型显存占用，不能直接换算成“显存减半”。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
后续可观察：WT-Engine 是否开源并发布推理内核；第三方能否在相同提示和 1,000 token 生成条件下复现 KL 散度与 Top-1 数据；GGUF、llama.cpp 等现有生态是否吸收低秩残差思路。论文摘要未给出推理速度数据，转换耗时也不能当作生成性能。
来源：alphaXiv
