Mistral Large 4 发布:1T 参数 MoE 模型,稀疏注意力为智能体长任务让路

Mistral 发布 Mistral Large 4(ML4),一款 52B 激活参数、1T 总参数的多模态 MoE 模型,主打推理与长周期智能体任务。其关键取舍是:为保住智能体能力,主动放弃部分 KV 缓存压缩,再改用可学习的稀疏注意力控制成本。

一句话看懂:Mistral 发布 Mistral Large 4(ML4),一款 52B 激活参数、1T 总参数的多模态 MoE 模型,主打推理与长周期智能体任务。其关键取舍是:为保住智能体能力,主动放弃部分 KV 缓存压缩,再改用可学习的稀疏注意力控制成本。

事件核心:发生了什么

据 alphaXiv 页面信息(原始发布时间为 2026 年 11 月 2 日),Mistral 推出 Mistral Large 4,面向软件工程、网络安全和知识工作等场景。模型采用混合专家架构,激活 52B、总参数 1T,并支持多模态输入。

论文摘要给出的评测数字包括:FrontierCode 2.0 上 19.7%、Terminal-Bench 4.0 上 41%、Artificial Analysis Cyber Index 上 50.9%。服务端结合稀疏注意力、上下文并行、prefill–decode 分离和推测解码;校准后的 NVFP4 量化把检查点压缩到 606 GB,评测表现与 FP8 参考版本一致,可部署在四块 GB300 GPU 上。多教师蒸馏提供高、中、低三档推理强度,供用户权衡 token 消耗与效果。

值得注意的是,论文披露了一个与直觉相悖的过程:早期设计通过滑动窗口注意力、跨层注意力复用和 YOCO 把 KV 缓存压缩到 1/16,常规评测看似正常,但智能体长任务表现下降;语言建模损失相近的架构,在 SWE-bench Verified 上却出现明显差距。团队随后对已有检查点做“模型手术”,让更多层使用完整上下文,再引入可学习的稀疏历史 token 选择来控成本。

为什么重要

这给行业提供了一个明确的信号:长上下文效率不能只看语言建模损失。对智能体场景而言,模型需要回看几十步前的文件、报错和工具结果,过度压缩 KV 缓存可能直接损害任务完成率。Mistral 把智能体评测作为架构决策依据,与 DeepSeek-V3.2-Exp 以稀疏注意力维持通用基准的思路侧重点不同,但两者并非可直接对比的同一结论。

若 606 GB 的 NVFP4 检查点真能跑在四块 GB300 上,意味着 1T 级模型在推理部署上进一步压缩了硬件门槛,这对企业自建推理集群有现实意义。

对用户/开发者/创作者的影响

开发者可关注三档推理强度对 API 成本的实际影响:低档省 token,高档适合复杂多步任务。做代码智能体、终端自动化和安全分析工具的人,应重点看 Terminal-Bench 与 Cyber Index 这类评测在自有工作流中的复现情况。创作者若使用多模态能力,目前公开信息仅限论文摘要,尚不能确认具体接口和可用范围。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是模型是否以 API 或开放权重形式正式上线、定价如何;二是四块 GB300 部署方案是否经过独立复现;三是竞品是否会跟进“以智能体评测驱动注意力架构设计”的路线。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 32045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注