SoloQ提出免校准量化方案,扩散语言模型4比特推理显存最高降2.61倍

针对扩散大语言模型(dLLM)推理成本高、现有低比特量化又依赖校准数据的问题,论文提出免校准量化框架 SoloQ,在 4 比特下保持精度,并报告 NVFP4 场景显存最高降 2.61 倍、端到端推理最高提速 2.24 倍。

一句话看懂:针对扩散大语言模型(dLLM)推理成本高、现有低比特量化又依赖校准数据的问题,论文提出免校准量化框架 SoloQ,在 4 比特下保持精度,并报告 NVFP4 场景显存最高降 2.61 倍、端到端推理最高提速 2.24 倍。

事件核心:发生了什么

2026 年 10 月 5 日,Hugging Face Papers 收录了论文 SoloQ: Calibration-Free Quantization for Diffusion Language Models。扩散大语言模型通过双向扩散式 token 生成,被视为自回归语言模型之外的一条路线,但全序列去噪会反复调用高算力前向计算,块扩散模型还要额外维护吃显存的 KV-cache,部署成本偏高。

现有 dLLM 训练后量化方法通常需要校准数据,而扩散过程中的掩码状态和去噪步数会不断改变激活分布,校准集很难覆盖。SoloQ 的思路是把权重和激活映射到一个归一化的旋转基上,使边际分布变得可预测,从而不依赖数据即可量化;它由结构化 K-RPBH 旋转和轻量重缩放校正组成,并支持分布匹配码本与硬件原生的 NVFP4 格式。针对块扩散模型,SoloQ 还引入 commit-time KV-cache 量化,压缩持久状态而不干扰正在去噪的块。

论文摘要称,在 LLaDA、Dream 等全序列 dLLM,以及 Fast-dLLM v2、Nemotron-Labs-Diffusion 等块扩散 dLLM 上,SoloQ 在 4 比特量化下保持精度,并在知识密集和推理密集基准上优于基于校准的基线。注意,这些结论来自论文摘要,完整实验尚未在本文核验。

为什么重要

扩散语言模型要走向实用,算力和显存是绕不开的门槛。免校准量化的价值在于降低部署前的准备成本:开发者不必为不同掩码状态、不同去噪步数专门收集校准数据,量化流程更容易标准化和复用。对硬件生态而言,SoloQ 明确对接 NVFP4 这类低精度格式,说明量化研究正在与新一代 GPU 的原生低比特能力对齐,这可能影响推理框架和推理服务商的选型。

不过,量化方案的最终价值取决于精度损失、 kernel 实现和框架支持程度,摘要中的加速与显存数据尚需第三方复现。

对用户/开发者/创作者的影响

对开发者和企业而言,如果免校准量化能在工程上落地,dLLM 的本地部署与私有化推理门槛会下降,尤其是在显存受限的消费级显卡或单卡服务器上。对推理服务商,块扩散模型的 KV-cache 量化若成熟,可提升单卡并发和长序列处理的吞吐。对普通用户和创作者,短期更可能体现为使用扩散语言模型的应用响应更快、调用成本更低,但这取决于是否有团队把论文方法集成进推理框架或模型权重发布。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 SoloQ 是否会开源代码或与主流推理框架(如 vLLM 等)集成;二是 NVFP4 路径在真实硬件上的 kernel 支持与实测数据能否被独立复现;三是 LLaDA、Dream 等模型社区是否跟进发布量化版本,以及基于校准的量化方案是否会因此调整路线。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 28850

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注