768GB Intel Optane DIMM 以 4tps 的速度运行单 GPU 的 1T 参数 LLM

一句话看懂：一位 Reddit 用户利用六根二手 Intel Optane 持久内存条（共 768GB），在一台仅配备单张 RTX 3060 的旧款 Xeon 工作站上，成功本地运行了 1 万亿参数的 MoE 大模型 Kimi K2.5，推理速度约 4 tokens/s。这个实验展示了“廉价大容量内存+MoE 架构”在本地运行超大模型的可能性，但也暴露了 Optane 生态已死、普通用户难以复制的现实。

事件核心：发生了什么

Reddit 用户 APFrisco 在 Local LLaMA 板块发布了一份教程，详细介绍了他如何使用二手硬件运行万亿参数级模型。核心硬件包括：Intel Xeon Gold 6246 CPU、Tyan S5630GMRE-CGN 主板、单张 Asus Dual GeForce RTX 3060 OC 12GB GPU，以及最关键的部分——6 根 128GB 的 Intel Optane DCPMM 持久内存条（共计 768GB）。他将 Optane 配置为内存模式，并用 6 根 32GB 的 Samsung DDR4 ECC 2666MHz 作为缓存。

软件层面，他使用 llama.cpp 进行混合 GPU/CPU 推理，并利用 override-tensor 标志将 routing 组件强制加载到 12GB 显存中。最终，这台二手宝藏机器以约 4 tokens/s 的速度运行了 Kimi K2.5——一个拥有 1 万亿参数的 Mixture-of-Experts 模型。APFrisco 本人表示，考虑到硬件预算极其有限，可以认为这是一个成功的实验。

为什么重要

这个实验的核心意义在于它证明了“低成本本地运行超大模型”的技术可行性。1 万亿参数模型通常需要数千 GB 的 GPU 显存或昂贵的 DRAM 集群才能运行，而 APFrisco 用淘宝二手零件解决了最核心的容量问题：Optane DIMM 提供了远低于 SSD 延迟、又比 DRAM 便宜得多的 768GB 内存池。这恰好匹配了 MoE 架构的特性——每次推理只需激活部分参数，对内存带宽的需求低于对内存容量的需求。

然而，这并不代表“本地跑万亿模型”的好时代已经来临。Intel 已经全面停产 Optane 产品线，这类内存条只能在二手市场找到，且需要特定平台（Xeon 第二代/第三代）支持，无法在消费级主板或 AMD 平台上使用。更接近实际推广前景的是 CXL（Compute Express Link）标准，其有望提供类似的大容量、可字节寻址内存池，且兼容性更好。

对用户/开发者/创作者的影响

对 AI 开发者和炼丹玩家：该教程展示了如何在不依赖顶级 GPU 的情况下，利用便宜的二手服务器硬件和 MoE 模型进行本地推理。对预算有限且对模型规模有极端需求的研究者有一定参考价值，但可复现性极低——需要特定的主板、CPU 和停产内存条。
对硬件采购决策者：此案例进一步证明了“内存容量比内存带宽更关键”的这一倾向在 MoE 推理场景中成立。对于计划部署超大模型的企业来说，关注 CXL 内存池方案可能远比寻找二手 Optane 有更长期的战略价值。
对普通创作者和内容消费者：目前没有直接影响。4 tokens/s 的速度远不足以产生流畅的交互体验，仅适合实验性质的本地模型研究，不适合实用级应用。

值得关注的后续

Optane 二手市场是否会涨价：随着这类实验教程的传播，二手 Xeon 服务器和 Optane DCPMM 价格可能出现局部短期上涨，但难以形成长期趋势。
CXL 产品的上市节奏：英特尔、AMD 和三星等厂商正在推动 CXL 内存池化方案。如果 CXL 产品在 2025-2026 年进入消费级/工作站级别，类似“低成本万亿模型”的场景将更具可复现性。
MoE 模型的推理优化方向：Kimi K2.5 在如此受限的硬件上仍能运行，表明 MoE 架构对内存容量的敏感度高于带宽。未来可能会有更多针对 MoE 场景的 CPU+GPU 混合推理框架优化出现。