一句话看懂:百度发布ERNIE 5.5 Flash的基础模型权重,总参数280B、每token激活14B,未做中后期训练,直接给开发者当二次训练的起点。
事件核心:发生了什么
2026年11月5日,百度在ernie.baidu.com发布ERNIE-5.5-Flash-Base。按官方说明,这是一个稀疏MoE大模型,43层Transformer,隐藏维度4096,64个注意力头;从零预训练用了33.5T token,训练上下文最长128K,微调和推理阶段支持1M token。发布的权重是预训练结束时的checkpoint,没有经过中期训练或后训练,可作为领域适配、指令微调和强化学习研究的公共起点。
架构上,大部分层采用“重度压缩注意力”(HCA),把每128个token压成一个缓存条目;每7层保留1层token级全上下文MLA,并在这类层上使用稀疏注意力。官方称,在相近KV缓存预算下,HCA+MLA的组合优于HCA+CSA。
为什么重要
大模型竞争正从“谁的对话效果更好”延伸到“谁能提供可靠的训练底座”。百度这次直接放出base权重,而非成品聊天模型,意味着它想让外部团队把算力花在领域数据、agent训练和推理方法上,而不是重复大规模预训练。这在国内大模型厂商中并不常见,对开源和闭源并行策略也是一次具体表态。
效率和成本的平衡是这条技术路线的核心。280B总参数只激活14B,配合混合稀疏注意力,试图压低长上下文和多轮交互的推理成本。对需要长文档、代码仓库级理解或agent多轮调用的应用,这类架构设计比单纯堆参数更有参考价值。目前公开信息显示,官方只给出了架构与训练设定,尚未看到完整的第三方评测。
对用户/开发者/创作者的影响
对开发者,最直接的变化是多了一个可微调的基础模型选项:支持1M token上下文,适合处理长文档、代码和对话历史;base权重也方便在可控条件下比较不同的后训练方法。对企业和研究团队,这能减少从零预训练的前期投入。对普通用户,短期内影响有限,它本身不是即开即用的产品,能力取决于后续微调出的应用和API。创作者若关注AI写作、视频脚本或图像生成工作流,需要等基于该模型的产品落地后再评估。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是权重是否真正开放下载、许可证条款如何,这决定社区能否实际使用;二是基于该base的后训练模型和API何时上线、定价如何;三是第三方在长上下文、代码和agent任务上的复现结果,能否支撑官方所说的效率优势。


