Mistral Large 4 登陆 Hugging Face:1T 参数 MoE 开源权重模型

10 月 29 日,Mistral 的新一代旗舰模型 Large 4(代号 Le Chonk)在 Hugging Face 上线,约 1T 总参数、49B 激活参数,采用多模态 MoE 架构并开放权重,主打网络安全、代码智能体与图文理解。

一句话看懂:10 月 29 日,Mistral 的新一代旗舰模型 Large 4(代号 Le Chonk)在 Hugging Face 上线,约 1T 总参数、49B 激活参数,采用多模态 MoE 架构并开放权重,主打网络安全、代码智能体与图文理解。

事件核心:发生了什么

据 Hugging Face 博客,Mistral Large 4 是一个同时支持文本与图像输入、输出文本的多模态混合专家(MoE)模型,上下文窗口达 100 万 tokens,官方提供 FP8 与 NVFP4 两种权重版本,Unsloth 和 llama.cpp 团队也提供了 GGUF 版本。许可证为“Mistral Ecosystem Open-Weight License”,它是 MIT 的衍生协议,但对“模型即服务”(model-as-a-service)类用途设有限制。

架构上,文本解码器有 72 层、隐藏维度 6144、64 个注意力头,注意力块结合了 MLA 与稀疏注意力索引器(每查询最多选择 2048 个 key 位置),每 token 由路由选出 128 个专家中的 4 个,再加 1 个共享专家;视觉部分使用 1.6B 参数的 Pixtral 编码器。

为什么重要

首先,Mistral 把接近前沿规模的模型以开放权重形式发布,权重、使用策略和部署环境都由用户掌控,这与此前同类能力主要经由闭源 API 提供的格局形成对比。其次,博客称该模型在 Artificial Analysis Cyber Index 上得分 82%,该测试要求模型复现开源软件中的真实漏洞并完成修补;Mistral 表示部分闭源前沿模型在这类任务上接近零分,原因是拒绝执行。不过这些数字来自厂商自测口径,目前公开信息显示还缺少独立复现。

对防守方而言,漏洞研究、恶意软件分析和事件响应常被闭源模型的安全过滤拦截,中间还面临 API 访问中断的风险;开放权重让团队可以围绕自有代码库、崩溃日志部署系统,也能用 TRL 基于模型输出微调更小的专用安全模型。

对用户/开发者/创作者的影响

开发者可直接在 Hugging Face 获取权重,Transformers、vLLM、llama.cpp 均已提供推理支持;企业侧已有 Dell Enterprise Hub 入口,推理端点也可用于试验。对安全团队,这意味着可以自建漏洞复现与修补流程,并直接测量模型的拒绝行为;但“模型即服务”受许可证限制,商业化封装前需要核对条款。对普通用户和创作者,现阶段更实际的变化是获得一个支持 100 万 tokens 长上下文和图像理解的开源基座,而非立刻可用的消费级产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是网络安全基准成绩能否被第三方独立验证,以及拒绝率在 JailbreakBench 等测试中的表现;二是 1T 级 MoE 在 FP8/NVFP4 下的实际推理成本与部署门槛;三是该许可证对托管 API 和二次分发究竟如何界定,这会直接影响商业采用。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 31015

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注