Startup swaps costly AI GPUs for Arm cores and up to 128TB of ‘cheap’ LPDDR6 RAM instead of expensive HBM to smash through the memory wall

一家由前 Google 和 Meta 工程师创立的以色列公司 Majestic Labs,用自研 Arm+RISC-V 处理器搭配最高 128TB 的 LPDDR6 内存,打造了一台试图绕开 Nvidia GPU+HBM 路线的 AI 推理服务器,目标是用“便宜的大内存”打破内存墙。

一句话看懂:一家由前 Google 和 Meta 工程师创立的以色列公司 Majestic Labs,用自研 Arm+RISC-V 处理器搭配最高 128TB 的 LPDDR6 内存,打造了一台试图绕开 Nvidia GPU+HBM 路线的 AI 推理服务器,目标是用“便宜的大内存”打破内存墙。

事件核心:发生了什么

Majestic Labs 在 2025 年底宣布推出 Prometheus 服务器,用自研 Ignite AI Processing Unit(AIU)替代 Nvidia GPU。AIU 采用 Arm 核心搭配 RISC-V 矢量/张量引擎,单台服务器最多可装 12 个 AIU,通过自研内存聚合 chiplet 组成统一内存池,容量为 8TB 到 128TB 的 LPDDR6,互连使用最长一米的铜缆。作为对比,Nvidia DGX B300 的 8 颗 Blackwell GPU 提供 2.3TB HBM3e 和最高 4TB DDR5 系统内存。

该公司宣称 Prometheus 每处理器可访问的内存比 Nvidia 方案多约 50 倍,互连带宽高出 1.7 倍;一个 40U 机架放 4 台 Prometheus,总功率 120kW,采用冷板液冷。价格方面,公司称明年量产后,同等性能的系统成本可能只有 GPU 方案的 1/10 到 1/50。该公司成立于 2023 年,在特拉维夫和洛杉矶共有约 40 名员工,2025 年底完成 1 亿美元 A 轮融资,并已获得部分大型企业、neocloud 和云厂商的预订。

为什么重要

当前 AI 推理的瓶颈之一是“内存墙”:HBM 带宽虽然高,但容量有限且价格昂贵,GPU 集群的扩展也受制于显存容量和互连带宽。Majestic 走的是一条“把内存容量做大,而不是把带宽堆高”的路线,以更廉价的 LPDDR6 代替 HBM,用软件生态兼容性(支持 PyTorch、vLLM、OpenAI Triton)降低迁移门槛。如果其性能和能效宣称得到验证,它可能成为 Nvidia 之外的一个鲶鱼式选项,尤其在大模型批量推理、长上下文和私有化部署场景中,改变“只能买 GPU”的局面。

不过,128TB 内存规模的工程复杂度仍然存疑:按常见 2GB LPDDR6 裸片计算,单台需要约 6.4 万颗内存芯片,意味着每个服务器可能需要上百个聚合 chiplet。目前公开信息显示,这些数字仍是公司单方面预测,还没有独立基准测试或已发货硬件支持。

对用户/开发者/创作者的影响

对于企业采购方,如果产品如期落地,意味着 AI 推理硬件有了新的成本对比;对于使用 PyTorch、vLLM 的开发者,若框架兼容性落实,迁移到新硬件的学习成本较低。对普通创作者和 AI 应用用户,这类硬件若普及,长期看可能让长文本、多模态推理服务的单位成本下降。但目前它还没有公开的价格表和发货时间,也不清楚实际性能表现,因此建议保持关注,暂不将现有架构决策建立在它的宣传数据上。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

有几个具体观察点:一是 Prometheus 是否按计划在 2026 年出货,以及独立第三方对其推理吞吐和能效的测试结果;二是现有 PyTorch/vLLM/Triton 兼容性能否真正做到“无需修改模型即可运行”,生态支持是否兑现;三是 Nvidia 等现有厂商是否会在下一代产品中加重统一内存、扩展内存容量的策略,形成对“大内存替代 HBM”路线的回应。在这三点明确之前,建议把 Majestic 的宣称视为方向性信号,而非替代现有方案的成熟选择。

来源:TechRadar

celebrityanime
celebrityanime
文章: 16475

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注