‘AI success will be defined not by how much infrastructure organizations own, but by how productively they use it’: Nvidia lays out its thoughts on how storage has become the next frontier of AI

Nvidia 将 cuFile 存储接口及底层存储栈开源,并拉上 Google、Intel、Meta 等 40 多家厂商成立 Storage-Next 联盟,核心目标是让 GPU 绕过 CPU 直接管理存储 I/O,以解决 AI 推理中 KV Cache 带来的海量小数据读取瓶颈。

一句话看懂:Nvidia 将 cuFile 存储接口及底层存储栈开源,并拉上 Google、Intel、Meta 等 40 多家厂商成立 Storage-Next 联盟,核心目标是让 GPU 绕过 CPU 直接管理存储 I/O,以解决 AI 推理中 KV Cache 带来的海量小数据读取瓶颈。

事件核心:发生了什么

在近期的 Future of Memory and Storage 会议上,Nvidia 正式开源了 cuFile API 及其下层存储栈,并宣布成立 Storage-Next 存储联盟,Google、Intel、Meta 作为创始维护者,SanDisk、Western Digital 等 40 多家闪存与存储厂商参与。此前 cuFile 于 2019 年随 GPUDirect Storage 引入、2021 年正式交付,其作用是通过 DMA 让数据绕过 CPU 和主机内存直接进入 GPU。此次开源的是这一层技术及其之上“把存储控制路径移动到 GPU 上”的 SCADA 框架,让 GPU 可以自行发起和完成存储请求,而不再是只能作为 DMA 目标端。

为什么重要

瓶颈从算力转移到了存取模式。大模型推理时每处理一个 token 都要读写 KV Cache,单次读取往往只有几百字节;而企业级 SSD 近十年一直围绕 4KB 随机读调优,导致实际上产生了约 8 倍的读放大。更关键的是,请求数量极大时,CPU 会先于存储设备饱和,数据通路再快也无济于事。Nvidia 的思路是让 GPU 直接作为存储请求的发起方,消化掉每笔请求的开销,把闪存真正变成 GPU 内存的延伸层。一个值得注意的信号是 Intel 的参与——它既是 x86 存储控制器的主要供应商,又加入了维护“绕开这些控制器”软件的行列,说明存储生态已开始接受新的分工:闪存设备负责介质,GPU 接管控制。

对用户/开发者/创作者的影响

对开发者而言,cuFile 与 SCADA 的开源意味着可以在不依赖 CUDA 闭源实现的情况下,为 GPU 直连存储编写中间层或性能分析工具;API 一旦被存储厂商广泛采用,未来采购存储设备时“是否原生支持 GPU 直连”可能成为一项常规选型指标。对企业 AI 工程团队来说,KV Cache 能否高效溢写到闪存直接影响单卡支持的并发对话数和上下文长度,进而决定模型服务的每用户推理成本。对普通用户,短期几乎感受不到变化,但中长期看,这有助于降低长上下文、Agent 类应用的服务定价。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 SCADA 的实际性能数据尚未披露,目前公开信息显示它在存储控制路径上把 GPU 变成了 initiator,但具体能把 512 字节随机读的 IOPS 提升多少、对端到端推理延迟有多大改善,还需等基准测试或硬件实测;二是 Storage-Next 联盟将如何形成标准化协议,特别是 Intel 与 Nvidia 之间在存储控制权上的竞合关系,是否会演变成新的技术分歧;三是多家存储厂商已加入联盟,但首批支持 SCADA 的企业级 SSD 或存储阵列何时量产,将决定这项技术从发布走向实际采购的节奏。

来源:TechRadar

celebrityanime
celebrityanime
文章: 18311

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注