一句话看懂：NVIDIA 技术博客披露，在单台 DGX Spark 桌面系统上叠加三项优化，124B 参数的 Ling-3.0-flash 在 GSM8K 评测中解码吞吐量提升 42.5%，准确率基本不变。
事件核心：发生了什么
2026 年 11 月 3 日，NVIDIA 发布技术文章，展示如何在一台 DGX Spark（GB10 芯片、128GB 统一内存、273 GB/s 带宽）上加速混合专家（MoE）模型推理。测试模型是蚂蚁集团 inclusionAI 的 Ling-3.0-flash：总参数 124B，每 token 仅激活 5.1B，原生上下文 256K，以 FP4 形式运行，批大小为 1。NVIDIA 在官方 W4A8 基线之上叠加三项优化：用 Humming 独立内核库替换 FlashInfer 的 MoE 后端，按实际矩阵形状运行时编译；将 LM head 在线量化为 FP8，减半该层读取量；启用模型自带的 NEXTN 投机解码层。在全部 1,319 道 GSM8K 题上，解码吞吐量从 37.81 提升至 53.89 tokens/s，平均延迟从 15.21 秒降至 11.49 秒，准确率由 96.89% 变为 96.82%。
为什么重要
DGX Spark 是桌边设备而非数据中心节点。这项结果说明，百亿级激活参数的大模型可以在单机、单用户场景下获得可用的解码速度，而不必依赖集群推理。NVIDIA 的拆解也很直接：解码耗时主要来自读取模型权重，因此优化方向只有两个——每步少传字节、每轮多出 token。Humming 和 FP8 LM head 压缩单步成本，NEXTN 减少步数，三者互补。对推理栈而言，这提供了一个可复用的调优路径，也暴露出 MoE 在窄专家层上的内核选择问题。
对用户/开发者/创作者的影响
开发者如果关注本地大模型部署，这篇博客给出了可操作配置，包括环境变量和启动检查点。NVIDIA 特别提示一个集成陷阱：同时开启 FP8 LM head 和投机解码时，草稿端必须共享完整 LM head 模块，否则框架会静默回退，草稿端把 FP8 权重当成 BF16 解读，接受长度掉到 1.00，吞吐反而低于未优化基线。因此上线前应确认每一项优化确实生效。创作者和中小企业采购本地推理硬件时，可把“单机吞吐”和“首 token 延迟”作为评估指标，而非只看参数规模。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
目前公开信息显示，上述数据限于 2026 年 11 月发布时 DGX Spark 单机、批大小 1、GSM8K 5-shot 条件下的评测，不建议外推为永久排名。后续可观察三点：Humming 是否更广泛进入 SGLang 等推理框架；MTP 接受长度在更多真实任务上是否仍接近 2.68；以及桌面级硬件上更大 MoE 模型的吞吐表现。
