英伟达开源 Snapshot:GPU 推理冷启动从分钟级缩至秒级

英伟达发布开源组件 NVIDIA Snapshot,可对已完成初始化的 GPU 推理工作负载做检查点并快速恢复,官方基准显示副本恢复时间普遍在 45 秒以内,比冷启动快 8 到 36 倍。

一句话看懂:英伟达发布开源组件 NVIDIA Snapshot,可对已完成初始化的 GPU 推理工作负载做检查点并快速恢复,官方基准显示副本恢复时间普遍在 45 秒以内,比冷启动快 8 到 36 倍。

事件核心:发生了什么

2026 年 11 月 10 日,英伟达在开发者博客中介绍 NVIDIA Snapshot,它是 NVIDIA DSX AI Factory Platform 的新开源组件,最初为 NVIDIA Dynamo 推理工作进程开发。Snapshot 面向 Kubernetes 上的 GPU Pod,提供检查点与恢复两类操作:前者把已初始化工作负载的 CPU 和 GPU 内存保存为可移植产物,后者在相同 GPU 型号和驱动的节点上从该产物启动新 Pod,跳过权重加载、编译和 CUDA 图捕获等步骤。其接口通过 Kubernetes 自定义资源实现,仓库已提供 vLLM、SGLang 和 NVIDIA TensorRT LLM 的示例。

为什么重要

大模型推理的冷启动常需数分钟,需求突增或副本故障时,空闲 GPU 无法立即转化为服务容量。Snapshot 把“初始化一次、多处复用”的思路带入推理集群,直接缩短扩容与故障恢复路径。对以 token 工厂、弹性推理为业务方向的平台而言,这意味着更低的冷启动损耗和更快的扩缩容响应,也可能影响推理调度层与 AI 工厂平台的集成方式。

对用户/开发者/创作者的影响

目前公开信息显示,平台团队可在 Kubernetes 中通过 PodSnapshot、SnapshotJob 和恢复注解接入该能力,工作负载只需少量握手逻辑;单节点多 GPU 的 MoE 模型也能整体检查点与恢复。对开发者来说,vLLM、SGLang、TensorRT LLM 的现成示例降低了试用门槛;对依赖弹性推理的 AI 应用团队,秒级恢复有望改善高峰期排队与故障切换体验,但需满足检查点/恢复及运行时兼容性要求。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是除英伟达公布的基准外,更多推理引擎和云平台是否跟进集成;二是跨节点、跨集群恢复的兼容边界是否放宽;三是 Crusoe、Saturn Cloud 等设计伙伴的实测能否在更多模型规模与硬件上复现。上述数据均限于素材给出的测试条件,尚不代表长期性能排名。

来源:NVIDIA Generative AI Blog

celebrityanime
celebrityanime
文章: 34013

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注