一句话看懂:Hugging Face Papers 平台出现 K2-Horizon 论文,作者称发布六个完全开源的语言模型,规模从 0.9B 稠密模型到 375B-A23B MoE,并公开训练数据、中间检查点和完整训练管线。这对关注开源大模型透明度与可复现性的开发者值得留意,但论文摘要不等于已上线产品。
事件核心:发生了什么
根据论文摘要,K2-Horizon 是一组面向通用推理与智能体任务的语言模型,覆盖数学与科学、软件工程、深度研究、办公自动化等场景。六款模型中,四款共用同一份 22T token 预训练语料和配方,便于做规模与稀疏度的对照研究。建模上提出 Mixture-of-Value Attention(MoVA)和 softplus 注意力门控,其中 36B-A4B 模型据称以约七分之一激活参数接近同数据训练的 32B 稠密模型;另有 Uno 扩散适配器,解码最高加速 2.2 倍且无需单独草稿模型。
开源范围按 LLM360 定义:公开全部开发历史、各训练阶段中间检查点、预训练数据、训练日志,以及训练、评估和基础设施代码,包括 xLLM 框架与 RL360 强化学习栈。作者还称公开了数据构建的每条流水线,这些流水线产出约 10T 合成预训练 token。
为什么重要
当前开源大模型的“开放”程度差别很大,多数只放权重和推理代码。K2-Horizon 若按摘要所述完整披露数据流水线和中间检查点,会降低复现与二次研究的门槛,也把合成数据在预训练中的角色放到台面上。对行业而言,这更像一次透明度路线的公开实验,而非单纯的模型榜单竞争。
对用户/开发者/创作者的影响
开发者可留意 36B-A4B 这类稀疏模型在本地或私有环境的推理成本,以及 Uno 是否真能免去草稿模型、简化部署链路。研究团队则可能受益于中间检查点和数据流水线文档,用于消融与可复现实验。普通用户和创作者短期内不一定会直接用到这些模型,产品化形态和 API 目前公开信息不足。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是模型权重与代码是否实际在 ifm.ai/k2 上线并可下载;二是摘要中的智能体与编程基准结果能否在第三方评测中复现;三是 10T 合成 token 的数据合规与质量披露是否足够细。在全文和独立评测出来前,上述性能应视为作者说法。


