Karpathy 开源 nanochat：不足 100 美元复现 GPT-2 级模型

一句话看懂：Andrej Karpathy 开源 nanochat，用单节点 8 张 H100 约 1.5 至 2 小时、48 美元左右即可训练出达到 GPT-2 水平的模型并进行对话，让大模型训练链路变得可动手复现。

事件核心：发生了什么

nanochat 是一个极简的实验性大模型训练框架，覆盖分词、预训练、微调、评测和推理全流程，设计目标是跑在单个 GPU 节点上。它的核心机制是一个复杂度旋钮 –depth：只指定层数，模型宽度、注意力头数、学习率、训练时长和权重衰减等超参数自动按最优方式推算，从而批量训练算力最优的模型系列，其中约 26 层对应 GPT-2 能力水平。

成本对比是最大卖点：2019 年训练 GPT-2 约需 4.3 万美元，如今在约 3 美元/GPU/小时的 8XH100 节点上，两小时约 48 美元，用抢占式实例可低至约 15 美元。项目还设有「GPT-2 速度跑」排行榜，目前公开信息显示榜首成绩将训练时间压到 1.65 小时，CORE 得分为 0.2626，略高于原版 GPT-2 的 0.2565。

为什么重要

对 AI 行业而言，nanochat 把「训练一个大模型」从少数团队的重资产工程，拉近到个人研究者和教学场景可承受的范围，延续了 nanoGPT、modded-nanogpt 一类开源项目的思路：用可读代码和公开榜单推动预训练优化。它不追求产品级能力，而是提供一条完整、可复现的技术路径，有利于社区在数据配比、精度（如 fp8）、批大小等环节持续迭代。

对用户/开发者/创作者的影响

开发者可以用 uv 安装并以 runs/speedrun.sh 一键跑通全流程，训练结束后通过 CLI 直接对话，代码量小、便于魔改；在单卡或 8XA100 节点上也能运行，只是速度更慢。创作者和学习者可以把它当作理解大模型训练与推理的实操入口。需要说明的是，官方示例中的模型能力接近幼儿园水平，适合实验和教学，不适合直接商用。