一句话看懂:Hugging Face 博客作者 Tarek Ziadé 在 32GB 统一内存的 Mac 上,尝试用 Transformers 实现 MoE 专家按需从 SSD 流式加载,让 180B 参数级模型在本地推理成为可能,但速度仍远低于专用引擎。这值得关注,因为它触及了消费级硬件运行超大模型的关键瓶颈:内存墙。
事件核心:发生了什么
2026 年 11 月 18 日,Tarek Ziadé 在 Hugging Face 博客发文,记录了他用 Transformers 把 MoE 推理推到极限的实验。他以 Qwen3.8-Flash-Next(180B 参数级 MoE 模型)为目标,在 32GB 内存的 MacBook M5 上尝试流式加载专家权重。背景是:现有方案中,llama.cpp 适合专家能放进内存的场景;vLLM 通过 CPU offload 但无缓存;Transformers + Accelerate 则是整层专家搬移,导致每 token 开销极高。作者对比了 Qwen3.6-35B-A3B 在 A10G 上的吞吐:Strata 达 82-88 tok/s,llama.cpp 约 63-64 tok/s,vLLM 最优约 20 tok/s,而 Transformers + Accelerate 仅 0.16 tok/s。他的目标是为 Transformers 引入基于路由的有界缓存和 SSD 流式加载,使速度接近 Strata 在同类场景下的水平。
为什么重要
目前公开信息显示,MoE 模型中专家权重占比超过 90%,因此大模型推理的瓶颈不在算力,而在专家权重能否高效驻留或交换。如果 Transformers 能原生支持专家级流式加载,意味着开发者无需切换推理引擎,就能在有限内存的笔记本上运行更大模型。但作者给出的数据也说明,专用引擎(如 Strata)在缓存和内核复用上仍有明显优势,Transformers 的改进更多是生态补全,而非性能超越。
对用户/开发者/创作者的影响
对本地部署大模型的开发者而言,这项实验提供了两条实用信息:其一,如果专家能放进内存,llama.cpp 仍是当前简单可靠的选择;其二,如果内存不足,vLLM 的专家级 offload 比默认整层 offload 快约一倍,但离可用仍有距离。对普通用户,短期内不要期待在 32GB 笔记本上流畅跑 180B 模型;对创作者,本地运行大模型的门槛依然取决于内存容量和 SSD 带宽,而非单纯 GPU 算力。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 Transformers 是否会将专家流式加载合入主线,以及是否复用模型原有的快速专家内核;二是作者声称的“接近 Strata 6% 以内”能否在更多模型和硬件上复现;三是 llama.cpp 和 vLLM 是否跟进加入有界专家缓存,从而改变本地推理引擎的竞争格局。


