一句话看懂：NVIDIA于2026年11月5日发布技术博客，阐述通过GPU架构、NVLink互连、推理软件、CPU与存储的协同设计，让AI工厂中每字节HBM承载更多有效推理工作，从而在容量基本不变的情况下大幅提升吞吐。
事件核心：发生了什么
NVIDIA在开发者博客中提出一个判断：HBM是AI工厂中最快、最贵也最稀缺的存储层级，衡量标准应从“GPU有多少内存”转向“每字节能产出多少token”。其给出的代际对比显示，从GB300到Vera Rubin，单GPU HBM容量维持在288 GB，带宽提升至19.2 TB/s；在SemiAnalysis AgentX基准（回放带工具调用间隔和上下文增长的编码智能体会话）中，Vera Rubin NVL72在每用户160 tokens/s条件下，每兆瓦智能体吞吐可达GB300 NVL72的30倍。博客将这一差距归因于五类协同设计：NVFP4低精度格式、NVLink scale-up域内的宽专家并行、推理服务软件、CPU及共享存储对上下文的复用。
为什么重要
这说明AI基础设施的竞争焦点正从单纯堆HBM容量，转向“每字节效率”。目前公开信息显示，NVFP4以4位元素加两级缩放，可将权重占用较FP16缩小约3.5倍、较FP8缩小约1.8倍；NVFP4 KV cache较FP8缩减最多50%。配合TensorRT-LLM的Wide-EP，DeepSeek-R1在EP64下每GPU每层仅驻留4个专家，把节省的内存让给KV cache和更大batch。对MoE大模型推理而言，这直接影响单位算力的token产出和部署成本。
对用户/开发者/创作者的影响
开发者若在NVIDIA平台上部署MoE模型，可关注NVFP4权重与KV cache量化选项，以及EP规模扩展对吞吐的影响；但博客中的30倍、10倍等数字均来自特定基准和交互性条件，不宜直接外推为实际业务收益。使用长上下文或智能体应用的团队，可重点评估KV cache压缩和跨节点上下文复用带来的并发提升。企业采购侧则应把互连带宽和软件栈成熟度纳入整机评估，而非只看单卡容量。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是Vera Rubin NVL72的实际交付时间与客户部署反馈；二是NVFP4在更多开源模型和推理框架中的默认支持进度；三是竞品在互连域规模和专家并行软件上的跟进节奏。
