一句话看懂：Thinking Machines 公布 Inkling 2 Small 的训练配方：前向计算用 4Bit 的 NVFP4，反向传播用 MXFP8，从预训练到强化学习全程都不再做精度校准。这是目前已知最大的端到端 4Bit 前向训练模型。
事件核心：发生了什么
低精度训练的核心矛盾在于：位数越少，数值表示越粗糙，量化误差会随层数和训练步数不断累积。Thinking Machines 的做法是按训练阶段分别选格式：预训练前向和 RL 采样这类高频计算，优先用 NVFP4；存储在 GB300 上比 BF16 少 3.6 倍位数，矩阵乘法最高快 6 倍。反向传播对量化偏差更敏感，因此换用 MXFP8，并配合重新量化和随机舍入。MoE 专家层用 NVFP4 做前向，同时配套专用 kernel。他们还对 GPU 通信做量化，解决算力提速后暴露出的通信瓶颈。在其最大规模的任务中，这套方案让预训练的实际耗时缩短 8%，强化学习提速 20%，对比基准是全程 MXFP8 训练。素材中的发布时间为 2026 年 11 月 13 日。
为什么重要
此前业界普遍把 4Bit 当作推理阶段的优化手段，训练仍以 BF16 为主。这次的关键不只是“4Bit 能训”，而是一套从头到尾不切换数值配置、推理部署时无需再校准的完整流程。对算力紧张的团队来说，训练速度哪怕提升 8%，放大大规模任务上也意味着可观的成本差距；训练与部署格式一致，也省去了量化检查和调参环节。目前这些结论仅来自该公司自己发布的技术博客，属于单一团队在特定硬件上的结果，尚未见到第三方复现。
对用户/开发者/创作者的影响
对训练团队而言，这套按阶段拆分精度的思路比“全局 4Bit”更可操作，尤其适合 MoE 架构。但 NVFP4 的加速依赖 NVIDIA GB300 平台，其他硬件上的收益需要另行验证。对下游开发者和 API 使用者来说，短期内更值得理解的是：未来模型交付时可能自带低精度格式，部署侧需要微调的环节会减少。目前公开信息尚不足以判断这套方案能否迁移到非 MoE 模型或旧一代 GPU。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 Inkling 2 Small 的权重或推理版本是否公开，4Bit 训练出的模型在真实任务上表现如何；二是其他团队能否复现 8% 和 20% 的提速，尤其在非 GB300 硬件上；三是这套流程会不会被主流训练框架吸收，成为新模型训练的常规选项。
