开源模型 Inkling 2 Mini 发布:循环 Transformer 让笔记本本地推理更省 Token

Thinking Machines 发布开源模型 Inkling 2 Mini,采用循环 Transformer 结构,在不增加输出文本量的情况下延长内部推理,可在一台 32GB 内存的 Mac 或 DGX Spark 上本地运行。

一句话看懂:Thinking Machines 发布开源模型 Inkling 2 Mini,采用循环 Transformer 结构,在不增加输出文本量的情况下延长内部推理,可在一台 32GB 内存的 Mac 或 DGX Spark 上本地运行。

事件核心:发生了什么

据 The Decoder 于 2026 年 11 月 21 日报道,Thinking Machines 推出了 Inkling 2 Mini。这是一个混合专家(MoE)模型,总参数 26.4B;其差别在于架构:每生成一个 token 时,24 层中的 12 层会连续运行三遍,因此单 token 激活参数约为 5.4B。公司称,这种“循环”设计让模型在内部多思考几轮,从而用更少的 token 得出答案。

该模型支持文本和图像输入,上下文窗口为 100 万 token,采用 Apache 2.0 许可,权重已在 Hugging Face 开放下载,另有一个支持可变循环次数的研究版本。此外还可在 Tinker Playground 中试用。

为什么重要

目前主流提升模型能力的方式是堆参数和增加训练算力。Inkling 2 Mini 尝试从推理结构入手:重复执行部分层,相当于在不额外生成文字的前提下增加内部计算量,减少对长思维链输出的依赖。如果这条路线得到验证,就可能在大模型训练和推理成本上提供另一种选择。

在 Artificial Analysis 的 Intelligence Index 上,该模型得分 20,与 Qwen3.8 27B、Nanbeige4.3-33B 持平。该机构称,其成本约为同分竞品的六分之一、速度约为四倍。在 10B 以下开源模型的智能体编程测试中,Inkling 2 Mini 在 DeepSWE v1.1 上得分 48.2%,在 Vals Index v2.2 上为 46.5%。这些排名限于上述评测的日期与任务条件,不宜视为长期结论。

对用户/开发者/创作者的影响

对于开发者,Apache 2.0 许可加上可下载权重,意味着可以自行部署和微调,并接入私有数据管线。100 万 token 的上下文适合处理长文档、代码库和较长的多轮对话场景。32GB 内存的 Mac 或 DGX Spark 就能在本地跑起来,对算力预算有限、又看重数据不出本地的团队有实际吸引力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对于创作者和小型团队,本地推理意味着不必为每次调用 API 付费,但需要自行承担部署与维护成本。作为参考,Artificial Analysis 的低成本、高速度评测结果,目前仅代表该机构的测试口径。

值得关注的后续

一是循环 Transformer 从研究版本到稳定产品的效果是否一致,可变循环次数是否会开放给开发者。二是第三方复现能否证实“少 token 得出正确答案”的效率优势。三是若效率路线成立,其他开源模型是否会跟进类似架构,从而影响开源与闭源模型在本地部署场景的竞争。

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 36525

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注