一句话看懂:英伟达在 Hot Chips 大会上集中更新了面向 Vera Rubin 平台的推理、网络和定制芯片接入方案,核心思路是让整座 AI 工厂的计算、通信与运维协同工作,而不再只比拼单颗 GPU 的算力。
事件核心:发生了什么
当地时间 8 月 24 日,英伟达在 Hot Chips 大会期间披露了多项 AI 基础设施进展。其中,面向低延迟推理场景的 Groq 3 LPX 已进入全面量产,AI 云服务商 Nebius 将成为首家采用者,计划将其接入生产级推理平台 Nebius Token Factory,开发者可沿用原有 API 而无需迁移软件栈。英伟达称,在 Artificial Analysis 使用 Gemma 4 31B 开放模型进行的测试中,Groq 3 LPX 在 10 万 Token 上下文下达到每秒 3400 个输出 Token,是其记录中的最快成绩;在智能体等延迟敏感负载上,响应速度可达最接近替代平台的 4 倍。
网络层面,Spectrum-X 以太网引入多平面架构,将每台服务器的网络连接拆分为多个独立平面,整体最高可扩展至 51.2 万颗 GPU,且无需增加第三层网络。硬件恢复速度比基于软件的多平面负载均衡快 11 倍,据称可使 AI 工厂产出提高 1.6 倍。此外,英伟达推出由 BlueField-4 和 DOCA 支持的 Scale-In,将多租户网络、存储访问、安全、资源配置和可观测性从主机侧分离到独立硬件加速域;NVLink Fusion 则将云厂商自研的 XPU 和 CPU 接入 NVLink 机架体系,支持 72 个 XPU 的互连域,端到端延迟相比通用以太网方案降至三分之一。
为什么重要
这些动作并非孤立的产品发布,而是围绕 Vera Rubin 平台构建完整技术栈的组成部分。英伟达试图证明:AI 系统的性能不再由单颗芯片决定,而是由 GPU 计算、Token 生成速度、机架内互连、跨机架网络以及基础设施服务共同决定。Groq 3 LPX 解决推理生成阶段的速度瓶颈,Spectrum-X 解决集群规模扩展,Scale-In 解决非计算流量对资源的占用,NVLink Fusion 则应对云厂商自研芯片带来的生态挑战。
其中,NVLink Fusion 的“纵向整合、横向开放”策略值得关注:它并未将 NVLink 变成完全独立的通用标准,但允许第三方 XPU 进入英伟达定义的机架级体系,使超大规模云厂商可在相似供电、液冷、网络和管理软件中灵活调整 GPU 与自研芯片的配比。这既是对定制芯片趋势的顺应,也是英伟达巩固机架标准主导权的方式。目前公开信息显示,英伟达的竞争边界正从 GPU 扩展到整座 AI 工厂的架构定义。
对用户/开发者/创作者的影响
对使用 AI 云服务的开发者和企业而言,Groq 3 LPX 的量产意味着 Token 生成延迟有望明显下降,尤其是代码智能体、多步骤工具调用等需要反复读取、编写和验证的任务,完成时间可能从小时级缩短到分钟级。Nebius 的接入方式保留了原有 API,降低了迁移成本。对云厂商和大型企业 IT 采购方,Spectrum-X 多平面和 Scale-In 意味着大规模集群部署时,网络层数和运维开销可能减少,但在成本、稳定性和实际产出方面的收益仍需以自身负载验证。对于使用图像生成、大模型应用的普通创作者,这类底层设施优化短期内不会直接体现在单一产品中,但长期看可能通过更快的响应速度和更低的推理成本间接影响使用体验。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
后续可观察三个方向:一是 Groq 3 LPX 在 Nebius 平台上线后的实际延迟与成本数据,以及 Groq 自身作为早期采用者的部署进展;二是 Spectrum-X 多平面架构在实际数据中心中的表现,特别是跨数据中心场景下是否能达到官方给出的性能提升;三是 NVLink Fusion 对云厂商自研芯片生态的实质吸引力,是否有更多超大规模厂商基于 MGX 机架部署定制 XPU,以及这一开放策略对英伟达 GPU 销售的影响。
来源:InfoQ CN


