德国AI协会发布开源模型Soofi S,在英语和德语基准测试中领先

德国AI协会(KI Bundesverband)领衔的研究联盟发布了开源大模型Soofi S(30B参数,激活3.2B)。该模型在英语和德语基准测试中,得分超过OLMo 3 32B和Apertus 70B等完全开源竞品,并且是首批完全在德国电信工业AI云上训练完成的大模型。

德国AI协会发布开源模型Soofi S,在英语和德语基准测试中领先

一句话看懂:德国AI协会(KI Bundesverband)领衔的研究联盟发布了开源大模型Soofi S(30B参数,激活3.2B)。该模型在英语和德语基准测试中,得分超过OLMo 3 32B和Apertus 70B等完全开源竞品,并且是首批完全在德国电信工业AI云上训练完成的大模型。

事件核心:发生了什么

根据该联盟发布的预训练报告,Soofi S是一款混合专家模型(MoE),总参数量为31.6亿,但每个token仅激活约3.2亿参数,推理计算成本接近3B模型。其架构复用了Nvidia Nemotron 3 Nano的设计,融合了Mamba-2层与标准注意力层。这种混合架构的关键优势在于内存效率:传统Transformer的KV缓存随上下文线性增长,而Soofi S的52层中只有6层维护此类缓存,使其在40,000 token上下文、32路并行请求下,单GPU每秒生成的token数约为同规模稠密模型的8倍,并且吞吐量在4,000到256,000 token区间内基本持平。

训练数据总量约27万亿token,分三阶段进行。第一阶段混合通用数据,第二阶段引入6万亿高质量数据,第三阶段将上下文窗口扩展至100万token。对德语的侧重非常显著:第一阶段德语占7.2%,第二阶段升至15.3%,远超Nvidia参考方案中所有非英语语言合计5%的比例。数据源包括HPLT德语网页、德语公有领域语料库、FinePDFs和FineWiki的德语部分,以及包含9.16亿篇报纸文章的商业授权Genios语料库。

在评估中,Soofi S在所有完全开源模型中,德语和英语综合得分均位居第一。在代码基准上,HumanEval得分73.8%,MBPP得分70.2%,德语版MBPP得分84.2%,均为开源最佳。在德国地域知识测试INCLUDE-DE上同样领先。

为什么重要

Soofi S的发布有三个方面值得关注。首先,它验证了“算力主权”路径的可行性:一个完全使用欧洲本土云基础设施训练出的30B级模型,能在多项基准上与全球头部开源模型竞争,这对于希望减少对美、中算力依赖的欧洲机构具有示范意义。其次,其混合Mamba-Transformer架构证明了在长上下文场景下,通过减少KV缓存开销可以实现接近恒定的推理吞吐量,这可能推动更多模型从纯Transformer向混合架构迁移。第三,在德语AI生态中,Soofi S提供了一个基准级开源模型,有望降低德国乃至德语区企业、大学和公共机构开发AI应用的门槛。

对用户/开发者/创作者的影响

对于开发者:Soofi S已在允许商用的许可下开源,开发者可以直接在本地或云环境部署,用于构建德语和英语的对话、写作、代码生成等应用。其低激活参数和长上下文吞吐量优势,特别适合需要处理长文档(如法律合同、学术论文)的产品。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于企业用户:如果企业有德语数据处理需求(如客户服务、文档摘要),Soofi S提供了一种可审计、可定制的开源选项,避免依赖封闭API,有利于数据合规。但其28万亿token的训练规模相比同类模型偏小,在极端复杂的推理任务上可能不如更大模型。

对于普通创作者:目前Soofi S尚未推出面向公众的聊天或写作界面,直接使用门槛较高。但开发者社区可能会基于它快速推出德语专用的AI工具,尤其是在文本生成、知识问答和区域文化内容创作领域。

值得关注的后续

1. 落地应用:Soofi S是否会推出更易用的API或产品化版本,以及德国AI协会是否会继续迭代更大规模的版本。2. 竞品反应:OLMo和Apertus等开源模型的下一个版本是否会针对德语和混合架构进行优化。3. 生态建设:开源社区围绕Soofi S开发的微调模型和工具链能否建立,将决定其长期影响力。

来源:The Decoder:AI News(RSS)

celebrityanime
celebrityanime
文章: 13050

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注