《深入理解 AI Infra》开源发布了! 写完《深入理解 AI Agent》后,在与读者交流的过程中,我越来越感到,要开发好基于模型的应用,还需要理解它赖以运行的基础设施。 最近几十年系统领域最重要的变化是编程抽象的上移:从操作系统到模型上下文。传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力,系统优化总要在可编程性与性能之间取舍。 如今 LLM 成了最重要的应用,可以针对特定的模型和加速器架构优化;模型设计也开始反过…

李博杰(Bojie Li)开源了新书《深入理解 AI Infra:量化分析与系统设计》的全部书稿,约 500 页、共 12 章,从硬件约束和模型架构出发推导 LLM 推理与训练系统设计,试图为 AI Infra 领域补上一本“量化研究方法”式的教材。








