QDA论文:用LLM智能体闭环设计量化方案,推理模型精度最多提升2.2个百分点

Hugging Face Papers 收录的论文 QDA 提出让 LLM 智能体为每个模型和精度自动设计训练后量化方案,在四个推理模型上,于定量评测条件内比最强公开方案精度最高提升 2.2 个百分点。

一句话看懂:Hugging Face Papers 收录的论文 QDA 提出让 LLM 智能体为每个模型和精度自动设计训练后量化方案,在四个推理模型上,于定量评测条件内比最强公开方案精度最高提升 2.2 个百分点。

事件核心:发生了什么

训练后量化(PTQ)是低成本部署大模型的标准手段,但最优量化方案因模型和精度而异,通常需要专家逐次重新设计。据论文摘要,QDA 让一个 LLM 智能体在“构建候选—评估候选”的循环中迭代出量化方案。为解决评估耗时问题,QDA 用智能体未见过的推理轨迹上的输出 KL 散度,在几分钟内给候选打分,再用长文本生成检查复读循环等失效;同时提供一个相互兼容、支持新架构的公开 PTQ 方法库。

摘要给出的数据是:在四个推理模型上,以每次搜索 64 GPU 小时计,W4A16、W4A8、W3A16 三种精度下平均精度分别比最强公开配方高 0.9、1.4、2.2 个百分点;在 320B 参数 MoE 模型 GLM-5.3-Flash 的 NVFP4 W4A4 上,恢复 FP8 模型 98.3% 的精度,优于最佳厂商 checkpoint 的 96.9%;生成的 checkpoint 可直接跑在现有 serving kernel 上。

为什么重要

量化直接关系推理成本和部署门槛。若智能体真能把配方设计从人工转向自动闭环,模型厂商和云服务商在新模型上线时的调优周期可能缩短,小团队也更容易用上接近专家水平的量化配置。目前公开信息显示,这一判断仅基于论文摘要,摘要未说明是否经过同行评审,也未披露完整实验细节,关键结论仍需复现验证。

对用户/开发者/创作者的影响

对开发者而言,值得关注的是作者称将开源方法库、评估器和 harness。如果落地,量化方案搜索有望从“手工改代码”变成“跑一轮搜索加自动评估”,降低跨代码库移植成本。对以 API 或自托管方式调用推理模型的团队,量化精度提升意味着同等等效算力下可能获得更好输出质量,但实际收益取决于具体模型、任务和部署内核。普通用户短期内感受有限,更多影响体现在推理成本与服务定价的长期变化上。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者承诺的方法库、评估器和 harness 是否真正开源,以及许可证和可复现程度;二是社区复现结果能否支撑摘要中的精度数字,尤其是 GLM-5.3-Flash 案例;三是主流推理框架和 serving 内核是否原生支持这类自动生成的量化 checkpoint。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注