Vizuara AI Labs 联合创始人、MIT 博士 Raj Dandekar 花 252 美元租一张 H200,从零预训练了一个迷你版 Kimi,把官方代码训不动的坑也一条条写进日志。 《预训练一个迷你 Kimi K3》 《Pretraining a Mini Kimi K3》是一本免费电子书,作者 Dr. Raj Dandekar 是 Vizuara AI Labs 的联合创始人,专门教人从第一性原理构建 LLM。全书是一份完…

MIT 博士 Raj Dandekar 用 252 美元租用单张 H200,花费 50 亿 token 从零预训练了一个 10.2 亿参数的迷你版 Kimi K3,并以免费电子书形式完整公开了训练日志,包括官方代码的隐藏 Bug 与失败实验。这件事的价值不在于“复刻成功”,而在于把大模型预训练从黑盒变成了可重…








