一句话看懂:Hugging Face 博客于 2026 年 11 月 20 日介绍 Thinking Machines Lab 的新模型 Inkling 2 Mini,它用层循环复用权重,以约 26B 物理参数、每 token 3B 激活参数提供 1M 上下文和多模态能力,主攻本地部署场景。
事件核心:发生了什么
Inkling 2 Mini 是一个多模态混合专家(MoE)模型,物理层数只有 24 层,但中间 6–17 层会循环执行三次,因此每 token 实际经历 48 次层访问。它每层从 128 个专家中路由 8 个,隐藏维度为 2,304,支持文本和图像输入、1M token 上下文。Thinking Machines Lab 以混合精度格式发布权重(NVFP4 与 MXFP8),并附带 DSpark 草稿模型以降低额外内存开销换取推理加速。Hugging Face 方面提供 transformers、Llama App(llama.cpp)和 MLX 支持,SGLang 也提供首日推理支持。
为什么重要
循环 Transformer 的关键在于用更少的物理层存储,换接近更深网络的表达能力,这对显存和本地算力有限的场景有直接吸引力。Inkling 2 Mini 与同系列 Inkling 2 Small 执行相同的 48 次层访问,但隐藏维度和专家池都更小,明显是为本地设备裁剪的版本。博客称其在 AAv5 等评测中领先 Gemma 4 31B、Qwen3.8-27B、Nemotron 3.5 Super VL 等模型,48 项基准中赢下 32 项;不过这些是发布方给出的结果,尚需独立复现。
对用户/开发者/创作者的影响
对本地开发者而言,llama.cpp 和 MLX 支持意味着可以在消费级硬件上尝试部署,1M 上下文适合长文档和代码库问答。博客的初步体验测试称其至少与 Qwen 3.8 27B 相当,但作者也明确表示需要更多验证。此外还发布了一个研究版变体,可把循环次数改为 1 或 2 次以提速,代价是生成质量可能略有下降;该变体尚未经过深度评估。创作者和企业若考虑私有化部署,可先在自己任务上做小规模对比。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是第三方对 AAv5 和 FrontierCode 等成绩的独立复现;二是量化权重在真实本地硬件上的显存占用和吞吐表现;三是可变循环次数研究版能否稳定用于生产,以及 SGLang 等推理栈的后续优化。


