celebrityanime

celebrityanime

《深入理解 AI Infra》开源发布了! 写完《深入理解 AI Agent》后,在与读者交流的过程中,我越来越感到,要开发好基于模型的应用,还需要理解它赖以运行的基础设施。 最近几十年系统领域最重要的变化是编程抽象的上移:从操作系统到模型上下文。传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力,系统优化总要在可编程性与性能之间取舍。 如今 LLM 成了最重要的应用,可以针对特定的模型和加速器架构优化;模型设计也开始反过…

《深入理解 AI Infra》开源发布了! 写完《深入理解 AI Agent》后,在与读者交流的过程中,我越来越感到,要开发好基于模型的应用,还需要理解它赖以运行的基础设施。 最近几十年系统领域最重要的变化是编程抽象的上移:从操作系统到模型上下文。传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力,系统优化总要在可编程性与性能之间取舍。 如今 LLM 成了最重要的应用,可以针对特定的模型和加速器架构优化;模型设计也开始反过…

李博杰(Bojie Li)开源了新书《深入理解 AI Infra:量化分析与系统设计》的全部书稿,约 500 页、共 12 章,从硬件约束和模型架构出发推导 LLM 推理与训练系统设计,试图为 AI Infra 领域补上一本“量化研究方法”式的教材。

AI 写代码越快,企业越需要自己的 Harness

AI 写代码越快,企业越需要自己的 Harness

2026 年 9 月 13 日,一位开发者在上海 AI Maker Summit 上分享了 Harness Coding 的落地实践,核心观点是:当 AI 写代码越来越快,企业真正的竞争力不再是模型本身,而是自己搭建的工程约束与反馈回路,也就是 Harness。这一判断值得关注,因为它把 AI 编程的讨论从“…

9.7—9.13|本周顶级 AI 论文

9.7—9.13|本周顶级 AI 论文

DAIR.AI 汇总了 9 月 7 日至 13 日的三篇代表性 AI 论文,分别来自谷歌、微软和 IBM,主题集中在长时程智能体的结构化规划、4B 参数编码智能体的合成任务训练,以及利用文档目录结构做检索。它们共同指向一个趋势:在不盲目堆参数和算力的前提下,用更聪明的训练数据与结构设计提升模型表现。

No module named ‘vllm._C’

No module named 'vllm._C'

这个报错通常出现在使用 VLLM_TARGET_DEVICE=empty 构建的 vLLM v0.20.2 上,而 v0.20.2 默认启用 V1 engine,V1 engine 的模型初始化会调用未编译进 empty 构建的 C++ 扩展,从而抛出 No module named 'vllm._