推荐排序模型用上6比特量化:实测端到端吞吐提升最高14.3%

一篇 arXiv 新论文对工业级推荐与排序(R&R)模型做 MXFP8、MXFP6 量化评测:论文称在 AMD MI350X 上,MXFP6 线性层 GEMM 对比 FP16 最高加速 2.90 倍,并在两个线上广告排序模型上带来端到端吞吐提升。值得关注的是,R&R 的精度门槛远比大模型严苛。

一句话看懂:一篇 arXiv 新论文对工业级推荐与排序(R&R)模型做 MXFP8、MXFP6 量化评测:论文称在 AMD MI350X 上,MXFP6 线性层 GEMM 对比 FP16 最高加速 2.90 倍,并在两个线上广告排序模型上带来端到端吞吐提升。值得关注的是,R&R 的精度门槛远比大模型严苛。

事件核心:发生了什么

2026 年 11 月 16 日发布的 arXiv:2611.17501(新投稿,仅见摘要)称,数字广告等场景的 R&R 模型推理吞吐需求巨大,却对精度损失极其敏感:生产环境的模型质量须保持在基线(通常为 FP16 或 FP32)归一化熵 0.01% 的差距以内,而大语言模型常能容忍 1% 以上的精度下降。作者在 AMD MI350X 架构上评测了 MXFP8 与 6 比特的 MXFP6 两种微缩放格式。论文称,这是 R&R 与 LLM 领域首次报告原生 MXFP6 GEMM(权重与激活同时量化、直接在 6 比特元素上计算)在不牺牲模型质量下取得显著加速。实测在两个生产广告排序模型上,MXFP8 相对 FP16 的 GEMM 核加速为 1.33–1.55 倍,MXFP6 为 1.73–1.99 倍,单层最高 2.90 倍;选择性使用 MXFP6 后,端到端推理吞吐相比各自 FP8 配置提升 1.5–5.3%(模型 A)和 7.6–14.3%(模型 B)。

为什么重要

R&R 模型是推荐系统和广告投放的核心算力消耗方,长期因 0.01% 的 NE 门槛难以采用激进量化。论文若成立,意味着 6 比特格式有望在几乎不损质量的前提下降低推理成本,也给 AMD 的数据中心 GPU 在推理环节提供一个新的性能卖点。另外,摘要指出 MXFP8 与逐行 FP8 精度接近,可按 GEMM 形状选择更快的内核,这为量化格式的工程选型提供了实用参考。

对用户/开发者/创作者的影响

对推荐与广告系统工程团队,值得评估在现有 FP8 流水线中按层选择性引入 MXFP6,而非整体替换;对使用 AMD 平台做推理部署的开发者,MXFP8/MXFP6 内核的成熟度将影响硬件选型。普通用户和创作者短期感知有限,但推荐与广告系统的推理成本下降,可能间接影响服务成本与投放效率。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文实验是否经同行评审、能否在更多模型和硬件上复现;二是 AMD 及量化软件栈是否会把这些内核产品化;三是 NVIDIA 等平台的同类格式是否跟进,以及生产团队在 0.01% NE 门槛下的实际采用情况。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 35280

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注