Edge0 开源 145B 端侧模型：29GB 内存跑编程推理，速度超 80 tokens/s

事件核心：发生了什么

根据 AIbase 2026 年 11 月 13 日的报道，Edge0 团队开源了 Edge0-145B 和 Edge0-120B 两个模型，以及统一的推理框架和部署工具。官方称 Edge0-145B 是全球首个可在个人电脑上流畅运行的开源 145B 参数模型，目标是把编程、推理和 Agent 能力放到本地笔记本上。

关键数据来自官方口径：模型采用稀疏 MoE 架构，145B 总参数中每次推理约 10B 参与计算；通过 GPU 显存、系统内存和 SSD 三级存储调度，峰值内存约 29GB，提示预处理速度超过 1100 tokens/s，解码生成速度超过 80 tokens/s，典型功耗约 120W，支持 128K 至 256K 上下文。适配平台包括苹果 M 系列芯片的 MacBook Pro 和搭载 RTX 4090/5090 的 Windows 设备。

为什么重要

端侧大模型长期受限于“能力”和“可行性”的取舍：小模型跑得动但难处理复杂任务，大模型能力强却依赖云端 API，带来持续成本、隐私约束和网络依赖。Edge0 的思路是从训练阶段就纳入端侧部署约束，再用稀疏专家、分层存储和 CPU-GPU 协同来降低内存与带宽压力，而不是对云端模型做事后压缩。

如果这些数据在更多真实设备上成立，意味着开源端侧模型的能力上限被进一步抬高，个人开发者和小团队可以在本地获得接近云端的大模型编程与推理体验，减少对闭源 API 的依赖。不过，目前公开信息主要来自项目方，尚无独立评测佐证。

对用户/开发者/创作者的影响

对开发者而言，最直接的变化是本地部署大模型的门槛可能下降：29GB 内存占用让高配笔记本有了运行百亿级以上参数模型的空间，统一推理框架也降低了适配成本。对创作者和普通用户，本地运行意味着数据不必上传云端，离线场景和隐私敏感任务会更可控。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

但要注意，80 tokens/s 的解码速度和 1100 tokens/s 的预处理速度均为官方宣称，实际体验会受设备配置、上下文长度和任务类型影响。编程与 Agent 能力是否真能对标云端前沿模型，也需要在具体任务上验证。

值得关注的后续

一是第三方复现与独立评测能否接近官方数据；二是推理框架和部署工具的实际易用性，以及社区生态是否快速扩大；三是竞品是否跟进类似“端侧大参数 MoE”路线，以及这类模型对云端 API 商业模式的实际冲击。

来源：AIbase