从GPU到Token:英伟达Vera Rubin如何重构下一代AI工厂

英伟达正将AI基础设施的竞争焦点从“单颗GPU算力”转向“Token工厂效率”,并推出Vera Rubin平台——一套整合CPU、GPU、LPU、网络和存储的异构系统,旨在以更低电力、更少GPU数量,实现更高的Token产出和更低的单位成本。

从GPU到Token:英伟达Vera Rubin如何重构下一代AI工厂

一句话看懂:英伟达正将AI基础设施的竞争焦点从“单颗GPU算力”转向“Token工厂效率”,并推出Vera Rubin平台——一套整合CPU、GPU、LPU、网络和存储的异构系统,旨在以更低电力、更少GPU数量,实现更高的Token产出和更低的单位成本。

事件核心:发生了什么

英伟达在GTC大会上发布了Vera Rubin NVL72计算引擎,该机架集成72颗Rubin GPU和36颗Vera CPU,通过第六代NVLink连接,上层可视为单一超大加速器。单颗Rubin GPU配备288 GB HBM4显存(带宽22 TB/s),整机架提供20.7 TB HBM4。官方数据显示,相比Blackwell平台,Vera Rubin NVL72仅需四分之一的GPU即可训练大型混合专家模型,每瓦特推理吞吐量提升最高10倍,每Token成本降至十分之一。

平台还引入三块关键硬件:Vera CPU(88核Arm架构,支持1.5 TB LPDDR5X内存,智能体沙盒性能最高比x86快50%)、Groq 3 LPU(专注推理解码阶段的低时延计算,与GPU构成“注意力-前馈网络解耦”异构推理系统)、以及面向长上下文的KV Cache独立存储层(G3.5层,通过BlueField-4和CMX平台实现PB级共享缓存)。此外,Spectrum-X以太网交换机已进入全球数据中心市场收入第一,结合CPO光互联技术,可将网络功耗效率提升5倍。

为什么重要

这一发布标志着AI基础设施的衡量标准正在根本性变化。过去,企业比拼的是GPU峰值算力;现在,在固定电力、空间和资本投入下,系统能持续生成多少Token、每个Token的成本多低、数万加速器能否稳定运行,成为关键指标。Vera Rubin不是单芯片升级,而是系统级重组:CPU从数据加载角色转变为智能体循环的关键瓶颈;LPU分担解码阶段时延敏感计算;KV Cache从临时数据变为独立存储层。这代表AI工厂从“训练优先”转向“推理与智能体协作优先”的架构思路,直接挑战传统数据中心的设计逻辑。

对用户/开发者/创作者的影响

对于使用大模型API的开发者,Vera Rubin的Token成本下降预示着调用价格可能持续降低,尤其在高并发推理和智能体场景中,响应速度和稳定性有望改善。对于企业采购方,选择AI基础设施时需从单卡算力转向综合效率评估,包括电力消耗、机架密度和网络可预测性。对于创作型用户(如图像生成、长文本处理),更低的推理成本意味着更多免费或低价服务可能上线,同时长上下文场景(如多轮对话、文档分析)的性能瓶颈有望缓解。需注意,这些影响依赖平台实际部署进度,目前仍为发布阶段。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,Vera Rubin NVL72和Groq 3 LPX机架的具体上市时间与定价尚未公布,需关注英伟达后续出货节奏。第二,CPU环节的更快沙盒性能是否吸引更多智能体开发框架(如LangChain、AutoGPT)深度适配。第三,Spectrum-X以太网在市场端的份额扩张是否会推动思科、Arista等竞品调整产品策略,以及CPO光互联技术是否从英伟达生态扩散至行业标准。第四,对手AMD、Intel及新兴AI芯片公司能否在系统级集成上跟进,尤其在端到端网络与计算协同方面。

来源:InfoQ CN

celebrityanime
celebrityanime
文章: 13786

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注