用 Transformers 流式加载 MoE 专家,180B 模型在 32GB 内存 Mac 上跑推理

Hugging Face 博客作者 Tarek Ziadé 在 32GB 统一内存的 Mac 上,尝试用 Transformers 实现 MoE 专家按需从 SSD 流式加载,让 180B 参数级模型在本地推理成为可能,但速度仍远低于专用引擎。这值得关注,因为它触及了消费级硬件运行超大模型的关键瓶颈:内存墙。

一句话看懂:Hugging Face 博客作者 Tarek Ziadé 在 32GB 统一内存的 Mac 上,尝试用 Transformers 实现 MoE 专家按需从 SSD 流式加载,让 180B 参数级模型在本地推理成为可能,但速度仍远低于专用引擎。这值得关注,因为它触及了消费级硬件运行超大模型的关键瓶颈:内存墙。

事件核心:发生了什么

2026 年 11 月 18 日,Tarek Ziadé 在 Hugging Face 博客发文,记录了他用 Transformers 把 MoE 推理推到极限的实验。他以 Qwen3.8-Flash-Next(180B 参数级 MoE 模型)为目标,在 32GB 内存的 MacBook M5 上尝试流式加载专家权重。背景是:现有方案中,llama.cpp 适合专家能放进内存的场景;vLLM 通过 CPU offload 但无缓存;Transformers + Accelerate 则是整层专家搬移,导致每 token 开销极高。作者对比了 Qwen3.6-35B-A3B 在 A10G 上的吞吐:Strata 达 82-88 tok/s,llama.cpp 约 63-64 tok/s,vLLM 最优约 20 tok/s,而 Transformers + Accelerate 仅 0.16 tok/s。他的目标是为 Transformers 引入基于路由的有界缓存和 SSD 流式加载,使速度接近 Strata 在同类场景下的水平。

为什么重要

目前公开信息显示,MoE 模型中专家权重占比超过 90%,因此大模型推理的瓶颈不在算力,而在专家权重能否高效驻留或交换。如果 Transformers 能原生支持专家级流式加载,意味着开发者无需切换推理引擎,就能在有限内存的笔记本上运行更大模型。但作者给出的数据也说明,专用引擎(如 Strata)在缓存和内核复用上仍有明显优势,Transformers 的改进更多是生态补全,而非性能超越。

对用户/开发者/创作者的影响

对本地部署大模型的开发者而言,这项实验提供了两条实用信息:其一,如果专家能放进内存,llama.cpp 仍是当前简单可靠的选择;其二,如果内存不足,vLLM 的专家级 offload 比默认整层 offload 快约一倍,但离可用仍有距离。对普通用户,短期内不要期待在 32GB 笔记本上流畅跑 180B 模型;对创作者,本地运行大模型的门槛依然取决于内存容量和 SSD 带宽,而非单纯 GPU 算力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Transformers 是否会将专家流式加载合入主线,以及是否复用模型原有的快速专家内核;二是作者声称的“接近 Strata 6% 以内”能否在更多模型和硬件上复现;三是 llama.cpp 和 vLLM 是否跟进加入有界专家缓存,从而改变本地推理引擎的竞争格局。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注