Anthropic“Mythos级”训练检查点据称泄露:14T参数、NVFP4、772个分片

Hugging Face 上出现一个名为 numbat 的仓库,声称是 Anthropic 下一代 Mythos 级大模型预训练中途的检查点,含 772 个分片、约 7.72TB 张量数据,并附带完整参考实现。若属实,这将是头部闭源大模型训练资产的一次罕见外流。

一句话看懂:Hugging Face 上出现一个名为 numbat 的仓库,声称是 Anthropic 下一代 Mythos 级大模型预训练中途的检查点,含 772 个分片、约 7.72TB 张量数据,并附带完整参考实现。若属实,这将是头部闭源大模型训练资产的一次罕见外流。

事件核心:发生了什么

据 Hacker News 24 小时热榜指向的 Hugging Face 仓库信息,发布者 burner22 上传了名为 numbat 的检查点,自称是 Anthropic“Mythos 级”训练运行的中间产物。仓库描述给出的规格包括:约 14T 参数、114 层、混合 GDN/MLA 架构、MoE(1,224 个专家,top-48 加 1 个共享专家)、NVFP4 量化;训练进度为约 196 万步中的第 183 万步,属于预训练阶段,未经过后训练或 RLHF。仓库还包含 modeling_numbat.py 和 configuration_numbat.py,声称可 strict=True 完整加载。numbat 这一代号据称曾在 2026 年 3 月的 Claude Code 源码泄露中被提及。上述说法目前仅来自该仓库自述,Anthropic 未公开确认。

为什么重要

头部闭源大模型公司的训练中间态极少外流。若素材属实,这次泄露涉及的不只是权重,还包括架构参考实现、张量索引和约 400 步训练日志,对研究 MoE 路由、混合注意力、低精度训练与量化评估都有直接参考价值。同时,NVFP4 检查点的出现也暴露出一种工程实践:评估团队会把异步检查点量化后放到部分 Trainium2 上跑评测,原始 BF16 权重与优化器状态仍留在训练集群。对 Anthropic 而言,这既涉及训练资产与算力机密,也可能影响其闭源 API 商业叙事。

对用户/开发者/创作者的影响

普通用户短期内不会感知变化,Claude 产品与 API 并未因此上线新模型。对开发者与研究者,这个仓库的最大价值是架构与加载代码:如果代码可用,可以在单设备上跑通前向,研究其 MTP 草稿层和 MoE 结构。但需要明确,这是预训练中途检查点,输出质量不能代表最终 Mythos 级模型,也不能替代官方 API。创作者和企业用户更应关注合规风险:来源不明的权重不宜用于生产,商用授权与数据合规均不清晰。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Anthropic 是否回应仓库真实性,以及是否发起下架;二是 772 个分片是否全部传完、社区复现加载是否成功;三是这类泄露是否会推动头部公司加强检查点访问控制与训练集群隔离。目前公开信息显示,仓库下载量约 5,846 次,模型页标注参数量为 6.8T,与描述中的 14T 存在口径差异,需进一步核实。

来源:Hacker News · 24h最热

celebrityanime
celebrityanime
文章: 31713

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注