一句话看懂：开源项目 Deltafin 用混合计算方案，让一台 64GB M1 Max 工作站本地运行 2.8 万亿参数的 Kimi K3 MoE 大模型，推理速度仅为 0.0687 token/s（约 14.6 秒生成一个 token）。虽然速度极慢，但它证明了“模型远超硬件”的本地推理路径可行。
事件核心：发生了什么
Deltafin 是一个小型研究项目，由开发者 gavamedia 在 GitHub 上发布。它通过将模型拆分为“常驻主干结构”和“路由专家”两部分，只在 GPU/MPS 上运行主干和注意力计算，而需要大量显存的 MXFP4 专家层则在 CPU 上执行。该项目目前支持 Apple Silicon macOS（使用 MPS 和 Metal）及 x86-64/aarch64 Linux（支持 CUDA 或纯 CPU）。
开发者在一台 64GB M1 Max 上测得中位数推理速度为 14.6 秒/token（约 0.0687 token/s）。模型使用 Kimi K3——一个 2.8T 参数的 MoE 模型，完整下载需要约 1.7TB 磁盘空间，也支持“流式”模式（215GB 缓存，运行时会按需从网络获取专家层数据）。Deltafin 还提供一个兼容 OpenAI API 的简易服务器，可用于本地接口调用。
为什么重要
目前主流大模型推理依赖高显存 GPU（如 A100/H100），K3 这类超大规模 MoE 模型通常只能通过多机或云端集群运行。Deltafin 展示了一条“拆解 + 混合计算”的路径：将模型的主干（attention 等）交给 GPU 或 MPS 加速，专家层放回 CPU 用原生 MXFP4 核运行，从而在普通消费级硬件上加载远超显存容量的模型。虽然速度低到无法实用，但它证明“模型比机器大一个数量级”时，本地推理在技术上是可能的，这挑战了“买更多 GPU”的默认思路，也推动了 MPS 和 CPU 混合推理框架的探索。
此外，该项目采用了 MXFP4（Microscaling FP4）精度，这是一种较新的低精度格式，能在大幅压缩参数体积的同时保持模型效果，Deltafin 提供了原生 CPU 实现，对存算一体和端侧推理有启发价值。
对用户/开发者/创作者的影响
开发者与研究者：可以直接在 64GB 或更大的 Apple Silicon Mac 上尝试运行 K3 模型，用于研究 MoE 路由行为或测试稀疏推理算法。Deltafin 的代码开源且通过 build_native.py 自动适配硬件 ISA，降低了上手门槛。但需要注意，当前推理速度约 4 个 token/分钟，一次完整对话可能需要数十分钟，不适合日常使用。流式模式允许用更少硬盘空间先测试，随时补全全量数据。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
创作者与企业采购：目前没有实用价值。14.6 秒/token 的速度远低于可用阈值（通常需要几十个 token/秒）。如果未来优化（如 CUDA MXFP4 原生核）能使速度提升到每秒数个 token，则可能用于离线文档分析或小批量内容生成场景，但短期内仍需依赖云端 GPU。
值得关注的后续
- 性能突破点：当前混合方案仅主干使用 GPU，专家层仍跑在 CPU 上。如果社区能开发出原生 CUDA MXFP4 MoE 内核，速度可能提升数十倍，使消费级 GPU 真的能“拉得动”千亿级 MoE 模型。
- 硬件适配范围：项目明确提到“M1 Max 不是天花板”，在新款 M3/M4 Max 或更高内存的 Mac Studio 上速度可能明显改善。具体提升幅度尚未有公开测试数据。
- 生态扩展：Deltafin 对 HTTP API 的支持意味着它可以被集成进 chat 界面、代码助手等工具，不过前提是推理速度能接近可用阈值。已有开发者开始研究在 128GB M2 Ultra 上的表现，结果值得跟踪。
