Show HN：如何在我的低配置电脑上运行 GLM-5.2

一句话看懂：一位开发者展示了一款名为 colibrì 的纯 C 推理引擎，能在只有 25GB 内存的个人电脑上运行 7440 亿参数的 GLM-5.2 混合专家模型。通过将大部分参数存储在磁盘并按需加载，它把原本需要数千美元专业显卡才能运行的模型，压缩到了消费级硬件可用的程度。

事件核心：发生了什么

在 Hacker News 上，开发者 JustVugg 发布了其开源项目 colibrì。该项目是一个仅有约 1300 行 C 代码的推理引擎，专门针对智谱 AI 的 GLM-5.2 混合专家模型设计。这个模型总计 7440 亿参数，但在推理时每 token 只激活约 400 亿参数。colibrì 利用了这一特性：将注意力层、共享专家等约 170 亿参数以 int4 量化后常驻于内存（约 9.9GB），而 21,504 个路由专家（约 370GB）则存储在磁盘上，根据当前 token 的计算需求从硬盘流式读取。引擎在 32 秒内即可启动对话，在 WSL2、12 核 CPU、25GB 内存的环境下，峰值内存占用约 20GB，冷启动解码速度约 0.05–0.1 token/秒。它还实现了 MLA 注意力、DeepSeek-V3 风格的 sigmoid 路由器、原生 MTP 投机解码、以及 int8 点积内核等优化，并且能与 transformers 参考实现保持输出一致（token-exact）。

为什么重要

这个项目展现了在消费级硬件上运行超大参数模型的实际可能，挑战了过去“大模型必须依赖高端 GPU”的共识。它并没有依赖任何 GPU 或 Python 运行时，完全在 CPU 上运行，并且只需 25GB 内存（而非堆满 H100 的服务器）。这表明，在模型结构本身已经支持稀疏推理的前提下（MoE 架构只激活部分参数），工程技术（量化、流式读取、KV 缓存压缩、LRU 缓存）可以显著降低推理门槛。对于 GPU 供应紧张或成本敏感的团队，这是一个值得参考的技术路线。同时，这也为在个人设备上运行前沿模型提供了实证，可能推动更多模型针对内存和硬盘而非显存进行优化。

对用户/开发者/创作者的影响

普通用户：如果你的电脑有约 25GB 可用内存和一块快速 NVMe 固态硬盘，现在可以在本地运行 GLM-5.2 进行对话。虽然速度很慢（冷启动约 0.05–0.1 字/秒），但这是一条可运行的路。项目特别提醒，频繁使用可能加速低端 SSD 的写入磨损。
开发者：可以复现并研究如何在内存和磁盘间高效调度 MoE 模型的专家权重。项目内的量化、缓存和投机解码逻辑（如 MTP 头必须保持 int8）有直接借鉴价值。colibrì 目前只支持 GLM-5.2，但其思路可以推广到其他稀疏模型。
AI 创作者/企业：对于推理成本敏感的部署场景，这个方向提供了一条降低 GPU 依赖的路径——把计算代价转移到存储和硬盘 I/O 上。不过目前速度远不能满足实时交互需求，更适合离线批处理或对响应时间容忍度较高的应用。

值得关注的后续

MTP 投机解码的实际收益：项目社区实测显示，在缓存冷启动时投机解码可能因额外加载专家而导致时间开销更大，但在缓存预热后有 2.2–2.8 倍加速。后续是否会加入自适应策略选择或优化缓存预热流程值得跟踪。
DSA 稀疏注意力支持：开发者提到正在下载 GLM-5.2 的稀疏注意力索引器权重（约 108GB），待实现后，上下文长度可能突破当前 2048 token 的限制，进一步降低长序列推理的资源消耗。
社区适配与生态：目前 colibrì 仅针对 GLM-5.2。如果用户能将转换工具、量化流程和 C 引擎模块化，它有可能变成一种通用的“超大规模模型个人化”工具链，但工作量和稳定性挑战都很大。