分享一份最近收集的 AI Infra 入门阅读清单，建议收藏，慢慢看 AI 已经可以生成很多很好的内容，解释概念、翻译论文、整理资料，都越来越方便。但在这个时代，能静下心来，把一篇好文章认真读完，把没懂的地方再琢磨一遍，我觉得更加难能可贵 这次整理的材料，主要集中在大模型推理这一块。从 KV Cache、显存管理，到请求调度、推理加速，再到怎么判断性能有没有真正变好 做工程的朋友，可以顺着往源码和实验里走。平时看 AI 产业、算力和存…

事件核心：发生了什么

这份清单于近期在社交平台发布，主题集中在大模型推理环节，覆盖 KV Cache、显存管理、请求调度与推理加速。作者给出的主线是 Aleksa Gordić 的《Inside vLLM: Anatomy of a High-Throughput LLM Inference System》，它把请求排队、KV Cache 分配、执行与结果返回串成一条真实系统链路，PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试都能挂在这条线上。其余材料作为补充：Anyscale 的 continuous batching 博客用静态批与连续批对比图解释 GPU 利用率；NVIDIA 两篇分别建立 prefill/decode 全貌和讲清 TTFT、ITL、TPOT 等测试口径；kipply 2022 年的《Transformer Inference Arithmetic》则从计算量、内存、带宽和通信开销估算推理成本。

为什么重要

推理正在成为大模型落地的成本中心。训练侧的热度之外，真正决定 API 定价、并发能力和用户体验的往往是推理系统的效率。这份清单的价值在于它不堆概念，而是把 vLLM 这类开源推理框架当作观察窗口，让读者理解吞吐、延迟与硬件占用之间的取舍关系。对关注算力和存储的产业观察者来说，这也是理解 GPU 采购逻辑和推理服务商业模型的一条具体入口。

对用户/开发者/创作者的影响

开发者可以顺着 vLLM 源码和实验路径深入，重点理解 continuous batching 如何让已完成的请求立即让位给新请求，以及 KV Cache 管理为何直接决定显存上限。做应用和 API 的团队，读懂 TTFT（首 token 延迟）与 TPOT（后续 token 生成速度）的区别，有助于更准确地评估供应商的性能宣称。内容创作者和普通用户未必需要碰源码，但理解“第一个字要等多久”和“生成有多快”是两件事，能帮助判断一个 AI 产品是否真的流畅可用。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

一是这份清单是否会继续更新，补充更多开源框架或国产推理方案的对比材料；二是 vLLM 等项目的演进是否会让文中部分细节过时；三是推理优化知识能否从英文长文扩散到更多中文实践案例。目前公开信息显示，清单以英文材料为主，阅读门槛偏高，适合作为长期参考而非速成教程。

来源：@Kay2289123