百度开源文心5.5Flash Base:2800亿参数MoE,同尺寸多项基准登顶

百度于2026年11月5日开源2800亿参数MoE基础模型文心5.5 Flash Base,激活参数仅140亿,官方称在知识、推理、数学、代码、多语言和长上下文等多项基准上刷新同尺寸SOTA,直接对标DeepSeek-V4-Flash-Base等模型。

一句话看懂:百度于2026年11月5日开源2800亿参数MoE基础模型文心5.5 Flash Base,激活参数仅140亿,官方称在知识、推理、数学、代码、多语言和长上下文等多项基准上刷新同尺寸SOTA,直接对标DeepSeek-V4-Flash-Base等模型。

事件核心:发生了什么

根据AIbase报道,百度在11月5日正式开源新基础模型ERNIE 5.5 Flash Base。该模型采用MoE架构,总参数2800亿、激活参数140亿,预训练使用33.5万亿tokens,预训练上下文长度最高128K,微调与推理阶段支持最长100万tokens上下文。官方称,在知识、推理、数学、代码、多语言和长上下文等多项基准上,其成绩优于DeepSeek-V4-Flash-Base、Hy3-preview-Base等同尺寸模型。需要说明的是,上述评测结论来自官方披露,具体任务名单和评测条件目前公开信息有限。

为什么重要

这首先是一次效率路线上的公开竞争。2800亿总参数只激活140亿,意味着推理成本可以控制得较低,而上下文窗口拉到100万tokens,则对准了长文档处理和Agent类应用的需求。技术侧,百度在注意力机制上引入Latent-Gated Sparse Attention,结合HCA与MLA压缩历史信息、保留细粒度位置访问;低秩门控注意力把门控投影权重参数减少75%;专家路由采用Multi-Router Latent MoE;训练目标引入ECHO,复用主干末层预测后续token,省去额外MTP模块。基础设施层面还优化了分布式Muon优化器,并引入FlashMask-4注意力算子。这些改进能否在实际训练和推理中稳定兑现,仍需开发者实测验证。

对用户/开发者/创作者的影响

对开发者而言,开源基础模型降低了做垂直领域定制模型的门槛,尤其适合长上下文问答、代码辅助和多语言处理场景。但需要注意:基础模型不等于开箱即用的产品,部署2800亿参数模型对显存和集群仍有要求;14亿激活参数虽然降低了单次计算量,但整体服务成本取决于部署规模。对普通用户和创作者,短期直接影响有限,更多会通过后续基于该基座开发的AI应用间接体现。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是官方是否公布完整评测集、基线和复现方式,让同尺寸对比可核查;二是开源许可以及社区微调工具链是否完善,这决定生态扩散速度;三是DeepSeek等竞品是否在同尺寸区间跟进发布,以及该模型在真实API服务和商业产品中的落地价格。

来源:AIbase

celebrityanime
celebrityanime
文章: 33102

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注