Inkling 2 Mini 发布:26B 参数循环 Transformer 瞄准本地部署

Hugging Face 博客于 2026 年 11 月 20 日介绍 Thinking Machines Lab 的新模型 Inkling 2 Mini,它用层循环复用权重,以约 26B 物理参数、每 token 3B 激活参数提供 1M 上下文和多模态能力,主攻本地部署场景。

一句话看懂:Hugging Face 博客于 2026 年 11 月 20 日介绍 Thinking Machines Lab 的新模型 Inkling 2 Mini,它用层循环复用权重,以约 26B 物理参数、每 token 3B 激活参数提供 1M 上下文和多模态能力,主攻本地部署场景。

事件核心:发生了什么

Inkling 2 Mini 是一个多模态混合专家(MoE)模型,物理层数只有 24 层,但中间 6–17 层会循环执行三次,因此每 token 实际经历 48 次层访问。它每层从 128 个专家中路由 8 个,隐藏维度为 2,304,支持文本和图像输入、1M token 上下文。Thinking Machines Lab 以混合精度格式发布权重(NVFP4 与 MXFP8),并附带 DSpark 草稿模型以降低额外内存开销换取推理加速。Hugging Face 方面提供 transformers、Llama App(llama.cpp)和 MLX 支持,SGLang 也提供首日推理支持。

为什么重要

循环 Transformer 的关键在于用更少的物理层存储,换接近更深网络的表达能力,这对显存和本地算力有限的场景有直接吸引力。Inkling 2 Mini 与同系列 Inkling 2 Small 执行相同的 48 次层访问,但隐藏维度和专家池都更小,明显是为本地设备裁剪的版本。博客称其在 AAv5 等评测中领先 Gemma 4 31B、Qwen3.8-27B、Nemotron 3.5 Super VL 等模型,48 项基准中赢下 32 项;不过这些是发布方给出的结果,尚需独立复现。

对用户/开发者/创作者的影响

对本地开发者而言,llama.cpp 和 MLX 支持意味着可以在消费级硬件上尝试部署,1M 上下文适合长文档和代码库问答。博客的初步体验测试称其至少与 Qwen 3.8 27B 相当,但作者也明确表示需要更多验证。此外还发布了一个研究版变体,可把循环次数改为 1 或 2 次以提速,代价是生成质量可能略有下降;该变体尚未经过深度评估。创作者和企业若考虑私有化部署,可先在自己任务上做小规模对比。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是第三方对 AAv5 和 FrontierCode 等成绩的独立复现;二是量化权重在真实本地硬件上的显存占用和吞吐表现;三是可变循环次数研究版能否稳定用于生产,以及 SGLang 等推理栈的后续优化。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 36402

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注