《深入理解 AI Infra》开源发布了！ 写完《深入理解 AI Agent》后，在与读者交流的过程中，我越来越感到，要开发好基于模型的应用，还需要理解它赖以运行的基础设施。 最近几十年系统领域最重要的变化是编程抽象的上移：从操作系统到模型上下文。传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力，系统优化总要在可编程性与性能之间取舍。 如今 LLM 成了最重要的应用，可以针对特定的模型和加速器架构优化；模型设计也开始反过…

事件核心：发生了什么

2026 年 9 月 13 日，作者在 X 上宣布《深入理解 AI Infra》开源发布，书稿托管在 GitHub（bojieli/ai-infra-book），并欢迎读者 star、提 issue 和 PR。全书约 500 页，包含 12 章：初识 AI Infra、模型架构、推理与训练负载、加速器架构、算子与运行时、超节点、数据中心网络、推理优化、分布式推理、训练系统、资源调度与运行环境、端边云协同。

写作动机来自作者写完《深入理解 AI Agent》后的观察：要开发好基于模型的应用，还需要理解模型运行所依赖的基础设施。他认为系统领域最重要的变化是编程抽象的上移——从操作系统转移到模型上下文；而 AI Infra 领域目前还缺少一本从硬件约束和模型架构出发、量化推导系统设计的书。

为什么重要

书中提出了一个值得注意的判断：模型正在成为 LLM 时代的操作系统，AI Infra 则相当于这个时代的计算机体系结构。这一类比背后有现实依据：LLM 已成为最重要的应用负载，可以针对特定模型和加速器架构做优化；反过来，模型设计也开始适应硬件，作者举的例子是 DeepSeek V4/V4.1 重新设计长上下文的表示方式。

从生态角度看，AI Infra 长期存在知识碎片化问题：算子、通信、调度、推理优化等内容分散在论文、博客和工程文档中，缺少统一框架。作者以《计算机体系结构：量化研究方法》为参照，试图把“从约束出发做定量推导”的方法论引入这一领域，这对训练系统、推理优化和算力选型的从业者具有参考价值。

对用户/开发者/创作者的影响

对开发者而言，这是一份可直接阅读、可提 issue 的开源书稿，适合作为大模型推理与训练系统入门的系统性材料，尤其是算子与运行时、推理优化、分布式推理、训练系统等章节，与日常工作衔接较紧。对做 AI 应用与 Agent 的团队，理解 KV Cache、并行策略、网络瓶颈等概念，有助于更合理地调用 API、估算成本与延迟。对企业采购和算力规划者，超节点、数据中心网络、资源调度等章节提供了评估硬件方案的框架。对内容创作者，书中“模型即操作系统”的视角可以作为一个有信息量的选题角度，但需注意这属于作者观点，目前公开信息尚不足以判定其成为行业共识。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是书稿的更新频率与社区参与度，issue 和 PR 是否形成有效反馈循环；二是是否会有配套代码、实验或课程，把量化推导落到可复现的基准上；三是 DeepSeek 等模型在长上下文表示上的硬件适配路线是否被更多团队跟进，从而影响推理系统的设计取向。

来源：@bojie_li