无显卡40核旧服务器跑通2.8万亿参数Kimi K3,傲腾内存成关键

有社区爱好者用一台没有独立显卡、搭载 40 核处理器的旧服务器,运行了 Moonshot AI 的 2.8 万亿参数模型 Kimi K3,并借助英特尔傲腾持久内存 200 系列支撑大模型的加载与运行。这是社区层面的极端测试,不是官方发布的部署方案。

一句话看懂:有社区爱好者用一台没有独立显卡、搭载 40 核处理器的旧服务器,运行了 Moonshot AI 的 2.8 万亿参数模型 Kimi K3,并借助英特尔傲腾持久内存 200 系列支撑大模型的加载与运行。这是社区层面的极端测试,不是官方发布的部署方案。

事件核心:发生了什么

据 AIbase 报道,一位爱好者在社区分享了这次测试:所用硬件是没有安装显卡的老旧服务器,CPU 为 40 核,目标是运行 Kimi K3。该模型属于混合专家(MoE)架构,参数规模达 2.8 万亿。测试者使用了英特尔傲腾持久内存 200 系列,把它当作容纳超大模型权重与 KV 缓存的关键层,从而绕开 GPU 显存容量的限制。目前公开信息显示,这只是一次个人实验的记录,具体吞吐、延迟和上下文长度等指标尚未在素材中给出,因此不能据此判断该配置是否具备生产可用性。

为什么重要

万亿参数模型的常规推理依赖高端 GPU 集群,显存容量往往是第一道门槛。这次测试的价值不在于证明 CPU 能替代 GPU,而在于提示另一条思路:当模型大到显存装不下时,大容量、相对低成本的持久内存可以作为分层存储的中间层,用内存带宽换显存容量。对预算有限的团队和研究者来说,这意味着超大模型的推理并非只有“堆显卡”一条路。不过,MoE 架构每次只激活部分专家,本身就更适合内存受限场景,这种组合能否推广到稠密模型仍需验证。

对用户/开发者/创作者的影响

对开发者而言,这条路径更适合实验、研究和低频推理,而不是高并发在线服务;若要在自有硬件上尝试超大模型,值得关注模型量化、专家调度和内存分层方案。对企业采购来说,傲腾系列产品线近年已出现调整,硬件可得性和价格需要单独核实,不宜直接照搬配置。对普通用户和创作者,这次测试不会改变现有 AI 应用的使用方式,主流产品的体验仍由云端推理集群决定。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是测试者是否公开更完整的性能数据,包括生成速度和长上下文表现;二是 Moonshot AI 或硬件厂商是否回应这一用法;三是是否出现更多基于 CPU 加大容量内存的开源推理实践,推动相关工具链完善。

来源:AIbase

celebrityanime
celebrityanime
文章: 34867

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注