Thinking Machines 发布 Inkling 2 Mini:26.4B 参数、约 20GB,可在笔记本本地运行

Thinking Machines 发布开源权重模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,权重原生采用 NVFP4,整体内存占用约 20GB,可在消费级笔记本上离线运行,并主攻智能体编程等长程推理任务。

一句话看懂:Thinking Machines 发布开源权重模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,权重原生采用 NVFP4,整体内存占用约 20GB,可在消费级笔记本上离线运行,并主攻智能体编程等长程推理任务。

事件核心:发生了什么

2026 年 11 月 20 日,Thinking Machines 推出 Inkling 2 Mini。它属于混合专家(MoE)模型,总参数 26.4B、每次激活 3.4B,但为支持循环结构,每 token 的权重激活量按 5.4B 计算。其结构被称为“循环 transformer”:每生成一个 token,中间层会重复执行三次,让模型在不把推理过程全部写进思维链(CoT)的前提下多想几步。

官方称,在总参数低于 100B 的开源权重模型中,Inkling 2 Mini 于 DeepSWE v1.1 取得 48.2%、Vals Index v2.2 取得 46.5%,均为可比模型中的领先成绩,且解码速度更快。需要说明的是,官方自己也标注:各模型评测设置不同,速度是按 614 GB/s、BF16、batch size 为 1 计算的理论上限。模型已开源权重,并在 Tinker 平台提供推理与定制;Hugging Face 上有模型卡。

为什么重要

这次发布的看点不只是“小”。循环结构实际上是用更多计算换取更少输出 token,从而提升推理质量;同时它试图缓解 CoT 可监控性与推理深度之间的矛盾。官方配套发布了一个可变循环深度的研究版本:不写 CoT 的时间跨度从一次循环的 16 秒提升到三次循环的 37 秒,串行推理成绩在十次循环内仍在改善,CoT 变短但保持可读,智能体破坏性测试也未随循环增加而上升。这为“推理过程是否可监督”提供了一个可实验的架构样本,但相关结论目前仅来自官方自述。

对开发者与创作者的影响

约 20GB 的内存占用意味着相当一部分高端笔记本和桌面 AI 设备能本地跑推理,不必依赖云端 API,适合对隐私、离线场景或调用成本敏感的开发者。官方演示中,研究人员在航班上用 MacBook Pro 离线运行模型,几分钟内搭出一个可玩的飞行模拟器。不过,循环结构提升的是推理能力,不等于知识储备变大,事实性问答仍主要取决于总参数量。想要测试智能体编程或核函数优化的团队,可以优先在 Tinker 上试用;在本地部署前,需确认硬件是否支持 NVFP4 和 MXFP8 权重格式。

值得关注的后续

一是 Tinker 上的定制能力和定价是否适合小团队长期使用;二是循环架构在更多独立评测中的表现,尤其是 CoT 可监控性结论能否被外部复现;三是同尺寸竞品是否会跟进循环或可变深度设计,以及消费级硬件对 NVFP4 的实际支持范围。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

来源:thinkingmachines.ai

celebrityanime
celebrityanime
文章: 36429

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注