$16,000 Quad AI Geekom mini PC cluster gets DeepSeek V4 Flash treatment with 512GB RAM — reaches 14.61 tokens per second

GEEKOM 用四台 A9 Mega 迷你主机通过 USB4 线缆组成 512GB 内存的分布式算力集群,跑起了 DeepSeek V4 Flash 模型,单并发推理速度约 14.61 tokens/秒。这套方案想证明:不建数据中心、不买专用服务器,企业也能用几台桌面设备做本地大模型推理。

一句话看懂:GEEKOM 用四台 A9 Mega 迷你主机通过 USB4 线缆组成 512GB 内存的分布式算力集群,跑起了 DeepSeek V4 Flash 模型,单并发推理速度约 14.61 tokens/秒。这套方案想证明:不建数据中心、不买专用服务器,企业也能用几台桌面设备做本地大模型推理。

事件核心:发生了什么

GEEKOM 官方发布了一套面向企业 AI 负载的分布式集群方案,硬件基础是四台 A9 Mega 迷你主机,每台搭载 AMD Ryzen AI Max+ 395 处理器(16 个 Zen 5 CPU 核心 + Radeon 8060S 显卡),单机最高 128GB LPDDR5x 内存,四台合计 512GB。设备之间通过 USB4 线缆直连,不需要专用交换机或服务器机架,软件层面使用 Ubuntu、ROCm 和 DwarfStar 完成模型分布式切分,并提供 OpenAI 兼容 API 供上层应用和 AI Agent 调用。

GEEKOM 公布的测试数据显示,集群在单并发下达到约 14.61 tokens/秒,P95 首 token 延迟约 0.42 秒,并官方披露支持最长 250K token 的上下文窗口。价格方面,单台 A9 Mega(128GB RAM + 2TB SSD)售价 3,999 美元,四台组成的完整集群约 16,000 美元。需要指出的是,该性能数据为厂商自行测试,目前没有第三方独立验证。

为什么重要

这套方案的看点在于硬件形态和组网方式的变化。过去企业跑本地大模型,通常考虑采购 GPU 服务器或专业工作站,成本和部署门槛都比较高。GEEKOM 用四台迷你主机加 USB4 线缆拼出一个 512GB 统一内存池,本质上是在尝试把“个人电脑集群”变成一种可行的私有化推理基础设施。虽然 14.61 tokens/秒的速度与大尺寸 GPU 服务器相比并不亮眼,但它提供了另一种思路:对数据敏感、预算有限、且对吞吐要求不极端的中小企业,可以用较低门槛先把模型部署在本地。

另一个值得注意的是 DeepSeek V4 Flash 的分布式运行方式。它没有依赖单一主机的大显存,而是通过软件把模型切分到多台设备上协同推理,这对消费级硬件做企业级推理的场景算是一个新的参考案例。

对用户/开发者/创作者的影响

对开发者来说,这套集群提供的是 OpenAI 兼容 API,意味着现有基于 OpenAI 接口开发的应用、Agent 工具链可以相对平滑地迁移到本地环境。对于企业内部知识库、合同检索、文档问答这类隐私敏感场景,数据不用出内网,这是实打实的吸引力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对企业采购而言,16,000 美元的价格低于一台入门级专业 AI 服务器的成本,而且扩容路径清晰——先买一两台,后续按需扩展到四台。但要注意,目前公布的性能数据缺少第三方基准测试,实际并发能力和长时间稳定性仍是未知数,采购前建议用真实业务负载做验证。

对普通用户或小型创作者来说,这套方案直接使用的门槛仍然偏高,不适合个人尝鲜。但如果这类迷你主机集群方案逐渐成熟,未来有可能以更低价格影响本地 AI 工具的硬件选择。

值得关注的后续

第一,GEEKOM 是否会公开更多第三方测试数据或真实企业部署案例,以验证 14.61 tokens/秒在实际生产环境中的可靠性。第二,AMD ROCm 生态对 DwarfStar 这类分布式推理框架的支持程度是否会持续优化,直接影响这套方案在更多模型上的适配速度。第三,DeepSeek 后续发布的模型版本是否会针对多机 USB4 互联场景做进一步优化,从而改善长上下文下的推理效率。

来源:TechRadar

celebrityanime
celebrityanime
文章: 19632

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注