一句话看懂：NVIDIA 宣布，在 JAX 框架中利用主机内存卸载（Host Offloading）技术，可以将大语言模型训练中的部分中间激活数据暂存至 CPU 内存，从而缓解 GPU 高带宽内存（HBM）瓶颈。在 GB200 NVL72 系统上的测试显示，该方法可使 DeepSeek-V3 671B 模型的训练吞吐量相比传统的激活重计算（Rematerialization）提升 57%，且能在同样的 GPU 内存预算下支持更大的批量配置。
事件核心：发生了什么
NVIDIA 在官方博客中详细介绍了 JAX 库新引入的主机卸载功能。该功能的运作方式是：在模型前向传播过程中，将选定的中间激活（如注意力层的 QKV 投影输出、MoE 层的上投影输出）复制到经过 pinning 的主机物理内存中；反向传播需要梯度时，再将这些激活从主机内存流回 GPU。这一过程要求 CPU 与 GPU 之间的互联带宽足够高——在 Grace Blackwell 架构中，NVLink-C2C 提供了 900 GB/s 的双向带宽，使得数据传输可以与 GPU 计算流水线重叠，从而隐藏延迟。
测试基于 JAX 的 MaxText 训练框架，在配备 128 块 GPU 的 GB200 NVL72 集群上完成。对于 671B 参数的 DeepSeek-V3 MoE 模型，采用主机卸载+流水线传输策略后，每设备吞吐量达到 908.2 TFLOPs/s，相比传统激活重计算的 578.3 TFLOPs/s 提升 57%。更关键的是，在没有主机卸载的情况下，微批量大小为 8 时直接内存溢出（OOM），而启用卸载后可以稳定运行。
为什么重要
大模型训练中 HBM 容量一直是提升训练效率和模型规模的核心瓶颈。传统上开发者往往依赖激活重计算（用算力换内存）来应对，但这会引入额外计算开销。主机卸载提供了一种“用带宽换内存”的替代路径，尤其适合需要处理超大激活张量的 MoE 模型。这项技术的意义在于，它进一步强化了 NVIDIA 在算力生态中的“软硬件协同”壁垒：即便其他厂商也能拷贝主机卸载的思路，但缺少高带宽的 CPU-GPU 互联、以及像 XLA 编译器那样能精确调度数据流与计算流重叠的底层支持，就很难复现类似的性能提升。
对用户/开发者/创作者的影响
对于正在使用 JAX 训练大模型的开发者，主机卸载功能直接降低了训练时的显存占用，从而允许在相同硬件上尝试更大的批量尺寸（batch size）或更长的序列长度。这意味着在同等 GPU 预算下，模型训练效率和收敛速度可能得到改善。对于企业采购决策者来说，该结果说明 Grace Blackwell 的互联带宽优势不仅是理论指标，而是能转化为实际训练工作负载的吞吐量提升。不过目前该优化依赖 NVIDIA 特定硬件（GB200 系列）和 JAX 生态的调度支持，若使用非 NVIDIA 或非 Blackwell 架构，主机卸载的实际收益会显著下降。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
- 开源普及情况：该主机卸载策略目前随 JAX 推出，是否会被反向移植至 PyTorch 等主流框架，将影响广泛开发者能否直接受益。
- 其他芯片厂商的回应：AMD 或 Intel 若要在训练领域竞争，可能也需要在其 GPU 生态中发展类似的 CPU-GPU 统一内存与编译器调度能力，以追赶 Blackwell 在 MoE 类模型上的效率差距。
- 生产落地验证：目前结果基于单集群、固定模型配置的基准测试，未来在更长训练周期（数周）或更大规模集群（上千 GPU）中，主机卸载的稳定性与端到端收益尚需更多独立验证。
