Cerebras详解万亿参数模型部署:59片晶圆跑起Kimi K3

Cerebras 公开了用 59 片 WSE-3T 晶圆部署约 3 万亿参数开源模型 Kimi K3 的方案,目标是把多万亿参数模型跑到每秒 1000–2000+ tokens,为大模型推理的算力路线提供了晶圆级芯片的参考样本。

一句话看懂:Cerebras 公开了用 59 片 WSE-3T 晶圆部署约 3 万亿参数开源模型 Kimi K3 的方案,目标是把多万亿参数模型跑到每秒 1000–2000+ tokens,为大模型推理的算力路线提供了晶圆级芯片的参考样本。

事件核心:发生了什么

2026 年 10 月 22 日,Cerebras 发布技术博客,说明如何把万亿参数级前沿模型拆分到多片 WSE-3T 晶圆上运行。单片晶圆有 44 GB 片上内存,而万亿参数模型仅权重就需要数 TB,因此关键在于“模型放进片上内存、权重不移动”。

文章以开源模型 Kimi K3 为例:约 3 万亿参数,含 69 个线性注意力层和 24 个稠密层。按 4-bit 权重量化、8-bit KV cache 和 256k 平均请求长度估算,每个线性层约 16 GB,每片晶圆可放 2 层,共需 35 片;每个稠密层单独占一片晶圆并留出 KV cache 空间,共 24 片,合计 59 片。晶圆之间只传激活值,通过以太网 RDMA 互联,每跳约 2 微秒。

为什么重要

这套方案的价值不在“堆芯片”,而在于把推理流水线打满:每片晶圆负责固定的模型层,不同请求在不同阶段同时推进,避免整条流水线等一个请求。按原文说法,生产环境中阶段划分会比示例更细。对行业而言,这展示了不依赖 HBM 大显存集群、而以片上 SRAM 加流水线并行的另一条大模型推理路线;对闭源前沿模型来说,也提供了一种降低单 token 成本的思路,但能否规模化商用仍需看实际负载表现。

对用户/开发者/创作者的影响

对开发者,Cerebras 强调模型权重常驻片上、层不拆分,意味着推理延迟更可预测,适合长上下文和高并发 API 场景;但具体接口、价格和可用区域目前公开信息有限。对使用 Kimi K3 等开源模型的团队,这一部署方式说明 4-bit 量化加 8-bit KV cache 可以在超大模型上落地,值得在自建推理时参考。对创作者和企业采购,更快的推理速度可能压低长文档处理和 agent 类应用的成本,不过素材中的 1000–2000+ tokens/s 是 Cerebras 给出的目标口径,并非第三方实测。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是这套 59 片晶圆方案是否进入对外可用的云服务或 API,并公布实际吞吐与定价;二是 Kimi K3 在 Terminal-Bench 2.1 的 88.3% 和 BrowseComp 的 91.2% 等结果,是否在统一评测条件下被独立复现;三是其他芯片厂商和云厂商是否跟进类似的“权重常驻、流水线并行”部署思路。

来源:www.cerebras.ai

celebrityanime
celebrityanime
文章: 29827

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注