200行纯JAX复现DeepSeek V3架构:MacBook Air上跑通全套训练

开发者 Vaibhaav Tiwari 用约190行纯 JAX 代码复现了 DeepSeek-V3 的核心架构,并在 MacBook Air 上从零训练完成,Hacker News 上引发讨论。这不是新模型发布,而是一次面向学习者的架构演示。

一句话看懂:开发者 Vaibhaav Tiwari 用约190行纯 JAX 代码复现了 DeepSeek-V3 的核心架构,并在 MacBook Air 上从零训练完成,Hacker News 上引发讨论。这不是新模型发布,而是一次面向学习者的架构演示。

事件核心:发生了什么

该项目按 DeepSeek-V3 技术报告实现了多组关键组件:多头部潜在注意力(MLA)把每 token 每层缓存从 480 个数值压到 144 个;共享旋转位置编码;DeepSeekMoE 采用 1 个共享专家加 16 个路由专家、每 token 选 4 个;以及无辅助损失的专家均衡偏置和序列级均衡损失。模型约 3620 万参数,每 token 激活 1360 万;训练数据是 207 本公版侦探小说,共 2170 万 token,在 M5 MacBook Air(24GB 内存)上训练 12000 步、约 2.6 小时,验证损失从 5.02 降到 3.51。作者明确表示这只是一个架构演示,称不上强语言模型。

为什么重要

目前公开信息显示,多数开源大模型实现依赖 PyTorch、Flax 或 Equinox 等框架,而该项目参数仅用字典存储,每个模块都是可从头读到尾的函数,去框架化程度较高。对想理解 MLA、MoE 路由和均衡机制如何落地的人来说,这是比读论文更直接的参考。作者还公布了一致性对照:开启和关闭偏置均衡时,第 2000 步验证损失接近(3.921 对 3.923),但专家负载从 0.09%–18.6% 收敛到 5.7%–6.9%,印证了论文“均衡不额外损失性能”的说法。

对用户/开发者/创作者的影响

开发者可以按仓库说明用 Python 3.12 和 uv 复现,下载 v1.0 发布中的 138MB 检查点直接试生成;项目要求 jax-metal 0.1.1 搭配 jax 0.4.34,不适合随意升级。需要注意的是,检查点以 Python pickle 形式分发,官方也提醒只加载可信来源文件。普通用户和创作者不必期待可用产品,其价值主要在教学与架构验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否补充更多训练数据或更大规模的对照实验;二是社区是否基于该实现做教学工具或复现验证;三是 DeepSeek-V3 官方后续迭代是否带动更多轻量实现出现。数据可复现性也值得留意:公版书原始文件无法固定版本,重新下载得到的哈希可能与公布值不同。

来源:Hacker News (黑客新闻)

celebrityanime
celebrityanime
文章: 35071

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注