3元2小时训出64M模型:MiniMind从零实现全链路大模型训练

开源项目 MiniMind 发布 minimind-3 系列,54M 级小模型在单张 3090 上约 2 小时、约 3 元 GPU 成本即可完成 SFT 复现,并公开从预训练到强化学习的完整训练代码,主打“从零理解大模型”而非直接调用现成框架。

一句话看懂:开源项目 MiniMind 发布 minimind-3 系列,54M 级小模型在单张 3090 上约 2 小时、约 3 元 GPU 成本即可完成 SFT 复现,并公开从预训练到强化学习的完整训练代码,主打“从零理解大模型”而非直接调用现成框架。

事件核心:发生了什么

按 GitHub Trending 页面信息,MiniMind 于 2026 年 4 月 1 日发布 minimind-3(约 64M)与 minimind-3-moe(198M-A64M),结构主线对齐 Qwen3 / Qwen3-MoE 生态,并移除 shared expert 设计。训练链路覆盖 Pretrain、SFT、LoRA、DPO、RLAIF(PPO / GRPO / CISPO)、Tool Use、Agentic RL 与蒸馏,核心算法使用 PyTorch 原生实现,不依赖 transformers/trl/peft 的高层封装。项目同时提供兼容 OpenAI API 协议的极简服务端和 Streamlit WebUI,支持 reasoning_content、tool_calls 与 open_thinking。

为什么重要

当前主流大模型动辄数十亿参数,个人设备既难训练也难部署。MiniMind 的价值不在性能对标,而在于把大模型结构和训练流程压缩到可理解、可复现的规模。相比只做 LoRA 微调,它让开发者能亲手走完分词器训练、预训练、对齐和工具调用等环节。这种教学型开源项目在社区里一直稀缺,也为 llama.cpp、vllm、ollama 等推理生态提供了轻量实验对象。

对用户/开发者/创作者的影响

开发者可以用较低算力成本验证训练流程和超参设置,适合作为入门实践或课程材料;做 AI 应用原型时,也能借其 OpenAI 兼容接口和 Tool Call 能力快速搭建本地演示。创作者若想理解大模型如何生成思考和调用工具,代码和数据集比付费教程更直接。需要提醒的是,“2 小时”“3 块钱”分别指 SFT 阶段单卡 3090 跑 1 epoch 的实测耗时与对应租用成本,并非完整训练全部阶段的普遍开销。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 minimind-3 在 C-Eval、C-MMLU 等评测集上的实际表现是否稳定复现;二是 Agentic RL 和工具调用能力能否在更复杂多轮任务中站住脚;三是社区是否围绕其数据格式和训练脚本形成二次开发生态。

来源:GitHub Trending

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注