现在开始学大模型,很多教程上来就是:调 OpenAI API、套 Transformers、做个 RAG,再接一个 Agent。 东西虽然能跑的通,但是 Attention、Tokenizer、Pretrain、SFT 到底是怎么连接起来,很多时候还是一团迷雾。 这几天找一个非常适合补缺这块的项目 MiniMind,GitHub 已经 5.6W+ ⭐️。 它干的事情特别直接:让你从 0 开始,自己训练一个很小的语言模型。 主线模型大致…

GitHub 上一个 5.6 万星的开源项目 MiniMind,正试图用 6400 万参数的微型模型,把大模型从 Tokenizer、预训练到强化学习的完整训练链路全部拆开演示,让普通开发者也能在单张消费级显卡上亲手走一遍训练流程。








