Edge0开源145B端侧大模型:29GB内存笔记本本地跑,冲击云端API

Edge0于2026年11月12日开源145B参数模型Edge0-145B及统一推理框架,宣称在兼容笔记本上以约29GB峰值内存实现80+ tokens/s生成速度,试图让本地设备承担过去依赖云端的前沿模型任务。

一句话看懂:Edge0于2026年11月12日开源145B参数模型Edge0-145B及统一推理框架,宣称在兼容笔记本上以约29GB峰值内存实现80+ tokens/s生成速度,试图让本地设备承担过去依赖云端的前沿模型任务。

事件核心:发生了什么

Edge0开源了Edge0-145B与Edge0-120B两款模型,并一并放出推理框架和部署工具。据其博客,Edge0-145B号称全球首个1450亿参数的端侧开源模型,在兼容笔记本上峰值内存约29GB,prefill速度1100+ tokens/s,decode速度80+ tokens/s,典型功耗约120W,支持128K–256K上下文。官方称其编码、推理和指令跟随能力与部分前沿云端模型“有竞争力”,但未给出完整基准细节。目前公开信息显示,这些数据来自厂商自测和特定硬件配置,尚待第三方复现。

为什么重要

端侧模型长期受内存墙限制,此前主流产品多在10B以下,例如Apple Intelligence约3B、Gemini Nano为1.8B和3.25B。145B能在本地跑通,说明模型压缩、推理引擎与硬件协同设计正在改变“大模型必须上云”的假设。对行业而言,这给开源模型路线增加了端侧部署选项,也直接挑战云端API按token计费的商业模式。不过,硬件和电力成本仍在,且“媲美前沿云模型”需要更独立的评测来验证。目前公开信息显示,该对比未覆盖所有任务类型。

对用户/开发者/创作者的影响

开发者可以下载权重和推理框架,自行微调并集成到本地AI应用中,敏感数据不必离开设备,离线场景也能保留核心能力。对需要处理长代码、运行代理式任务(如生成3D场景、游戏、PCB设计)的创作者,本地推理可减少API费用和网络依赖。但前提是拥有满足内存和功耗要求的笔记本,普通轻薄本未必适用。企业采购时需实测吞吐、稳定性和长任务表现,不宜仅凭厂商数据决策。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是第三方能否在公开硬件上复现29GB内存和80+ tokens/s的数据;二是模型权重是否真正开放、许可证是否允许商用;三是云端模型厂商是否会跟进端侧策略或调整API定价。目前公开信息显示,该发布仍以博客和开源仓库为主,实际生态 adoption 有待观察。

来源:Hacker News (黑客新闻)

celebrityanime
celebrityanime
文章: 34867

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注