一句话看懂：NVIDIA 发布教程，用 vLLM 把 753B 参数的 GLM-5.3 NVFP4 模型拆分到两台 DGX Station 的 GB300 GPU 上，通过 ConnectX-8 RDMA 组成单一 OpenAI 兼容端点，单机显存装不下的前沿模型也能本地推理。
事件核心：发生了什么
2026 年 11 月 13 日，NVIDIA 开发者博客给出了一套可复现的部署流程。GLM-5.3 NVFP4 是 Z.ai 混合专家模型的量化版本，总参数 753B，每个 token 激活约 40B。稀疏激活降低了计算量，但全部权重仍需常驻显存，检查点约 464 GB，超过单块 GB300 GPU 的 252 GB HBM3e。方案采用张量并行（TP=2），把模型张量切分到两台机器的 GPU 上，Station A 作为 rank 0 对外提供 API，Station B 作为 rank 1 只跑 worker，两端通过 cx8r1 这条 RDMA 链路通信，并明确关闭 CPU 权重卸载。
为什么重要
这条路线说明，在不开源权重量化之外，本地部署超大 MoE 模型的主要瓶颈仍是显存与互联，而不是单纯算力。两机 RDMA 组网加 vLLM 张量并行，把原本需要更大集群的模型压到两台桌面级 DGX Station 上，对研究机构、企业内网和受合规约束的场景有实际参考价值。同时，教程绑定了具体容器镜像摘要和模型 revision，强调可复现性，这比泛泛的跑分更有工程意义。
对用户/开发者/创作者的影响
开发者可以按教程获得一个 OpenAI 兼容端点，直接接入现有应用；但前提是两台 GB300 DGX Station、每台至少 464 GB 空闲磁盘、Hugging Face 门控数据集访问权限，以及接受 NVIDIA 开放模型协议。普通用户不会直接感知，但企业采购时可以把它当作“本地大模型推理最小集群”的基线：关注两机互联带宽、并发下的延迟表现，以及是否仍需额外调优。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是教程在并发压力下的基准数据是否公开完整，目前公开信息显示其定位是 baseline 而非性能排名；二是 vLLM 对类似多机 TP 配置的支持是否扩展到更多显卡型号；三是 GLM-5.3 后续量化版本能否进一步压缩显存占用。此外，镜像与模型 revision 固定，升级节奏和社区复现反馈也值得跟踪。
