借助NVIDIA BlueField的极限协同设计,规模化Agentic AI工厂

NVIDIA发布了BlueField-4 DPU和Vera BlueField-4 STX存储处理器,专门解决Agentic AI场景下基础设施成为推理瓶颈的问题,通过专用硬件卸载主机CPU的存储、网络、安全等工作,目标是将GPU利用率提升至更高水平并降低每Token成本。

借助NVIDIA BlueField的极限协同设计,规模化Agentic AI工厂

一句话看懂:NVIDIA发布了BlueField-4 DPU和Vera BlueField-4 STX存储处理器,专门解决Agentic AI场景下基础设施成为推理瓶颈的问题,通过专用硬件卸载主机CPU的存储、网络、安全等工作,目标是将GPU利用率提升至更高水平并降低每Token成本。

事件核心:发生了什么

NVIDIA在其官方博客中介绍了BlueField平台在Agentic AI工厂中的关键作用。Agentic AI的推理过程已不再是单纯的模型执行,而是包含多次工具调用、记忆查找、策略检查和数据传输的分布式工作流。BlueField-4 DPU整合了高达800Gb/s的网络连接、64核NVIDIA Grace CPU、LPDDR5X内存、PCIe Gen6以及DOCA软件平台,专用于将基础设施服务从主机CPU中卸载、加速和隔离。与上一代BlueField-3相比,BlueField-4的网络带宽翻倍,计算性能提升最高6倍,内存容量提升4倍,内存带宽提升超过3倍。同时发布的Vera BlueField-4 STX存储处理器则专注于AI工厂中的上下文记忆(KV Cache)管理和高性能存储基础设施。

为什么重要

这一变化从根本上改变了AI基础设施的架构模式。在传统AI推理中,GPU计算是核心瓶颈;而在Agentic AI中,每一次请求都可能触发多次模型调用和上下文数据的移动,使得网络、存储和安全处理本身成为推理管道的一部分。如果这些基础设施操作仍依赖主机CPU,就会消耗本应用于agent编排的CPU资源,并导致GPU空闲等待数据。BlueField通过专用DPU和存储处理器将这些操作从主机上剥离,使得GPU可以持续高效地执行推理,同时让CPU专注于agent的运行和协调。这对于规模化部署agentic AI服务的企业而言,意味着更可预测的延迟、更强的租户隔离、更低的每Token成本和更高的每瓦特Token产出。

对用户/开发者/创作者的影响

对于AI应用开发者而言,BlueField的架构意味着未来使用NVIDIA平台构建agentic AI应用时,可以依赖更底层的基础设施优化,而不必自行解决KV Cache的持久化和上下文迁移等底层问题。DOCA软件平台提供了可编程的API,使开发者能够直接在DPU上编写网络、存储和安全策略,而无需占用主机或GPU资源。对于企业和数据中心运营商,BlueField-4带来的硬件卸载能力可能直接影响AI工厂的建设成本——更高的GPU利用率意味着同等硬件配置下可服务的请求量更高,TCO(总拥有成本)有望下降。对普通用户来说,这些底层改进的最终体现将是更快的agent响应速度和更流畅的多轮对话体验。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,BlueField-4的交付时间表。目前NVIDIA未公布具体出货日期,但结合其与Vera Rubin平台(暂定名)的协同关系,该产品大概率与下一代GPU平台同步推出。第二,这项技术对第三方AI芯片生态的影响——如果BlueField显著降低了NVIDIA集群的推理成本,可能会进一步扩大其在大规模agent部署中的竞争优势。第三,DOCA开发者生态的成长速度。硬件卸载的价值高度依赖软件成熟度,DOCA能否吸引足够多的存储和安全服务厂商为其编写软件,将决定这一架构的实际落地效果。

来源:NVIDIA Generative AI Blog

celebrityanime
celebrityanime
文章: 13677

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注