一句话看懂:开发者 Vaibhaav Tiwari 用约190行纯 JAX 代码复现了 DeepSeek-V3 的核心架构,并在 MacBook Air 上从零训练完成,Hacker News 上引发讨论。这不是新模型发布,而是一次面向学习者的架构演示。
事件核心:发生了什么
该项目按 DeepSeek-V3 技术报告实现了多组关键组件:多头部潜在注意力(MLA)把每 token 每层缓存从 480 个数值压到 144 个;共享旋转位置编码;DeepSeekMoE 采用 1 个共享专家加 16 个路由专家、每 token 选 4 个;以及无辅助损失的专家均衡偏置和序列级均衡损失。模型约 3620 万参数,每 token 激活 1360 万;训练数据是 207 本公版侦探小说,共 2170 万 token,在 M5 MacBook Air(24GB 内存)上训练 12000 步、约 2.6 小时,验证损失从 5.02 降到 3.51。作者明确表示这只是一个架构演示,称不上强语言模型。
为什么重要
目前公开信息显示,多数开源大模型实现依赖 PyTorch、Flax 或 Equinox 等框架,而该项目参数仅用字典存储,每个模块都是可从头读到尾的函数,去框架化程度较高。对想理解 MLA、MoE 路由和均衡机制如何落地的人来说,这是比读论文更直接的参考。作者还公布了一致性对照:开启和关闭偏置均衡时,第 2000 步验证损失接近(3.921 对 3.923),但专家负载从 0.09%–18.6% 收敛到 5.7%–6.9%,印证了论文“均衡不额外损失性能”的说法。
对用户/开发者/创作者的影响
开发者可以按仓库说明用 Python 3.12 和 uv 复现,下载 v1.0 发布中的 138MB 检查点直接试生成;项目要求 jax-metal 0.1.1 搭配 jax 0.4.34,不适合随意升级。需要注意的是,检查点以 Python pickle 形式分发,官方也提醒只加载可信来源文件。普通用户和创作者不必期待可用产品,其价值主要在教学与架构验证。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是作者是否补充更多训练数据或更大规模的对照实验;二是社区是否基于该实现做教学工具或复现验证;三是 DeepSeek-V3 官方后续迭代是否带动更多轻量实现出现。数据可复现性也值得留意:公版书原始文件无法固定版本,重新下载得到的哈希可能与公布值不同。


