利奥加文/airllm
一句话看懂：开源项目 AirLLM 通过创新的内存优化技术，让 70B 级大模型能在仅有 4GB 显存的 GPU 上运行推理，405B 的 Llama3.1 也能在 8GB 显存上跑起来，大幅降低了部署大模型的硬件门槛。
事件核心：发生了什么
开发者利奥加文在 GitHub 上发布的 AirLLM v2.11.0 版本，主打“无需量化、蒸馏或剪枝”，通过将模型按层分解并利用块级量化压缩，使大模型推理时的显存占用降至极低水平。该项目起始于 2023 年 11 月，至今已迭代多次，支持包括 Llama3.1、Qwen2.5、ChatGLM、Baichuan、Mistral 在内的主流开源模型。在速度方面，v2.0 版本引入的块级量化压缩可将推理速度提升最高 3 倍，且声称精度损失可忽略。最新更新中还新增了对 CPU 推理和非分片模型的支持（感谢外部贡献者）。
为什么重要
过去，运行 70B 甚至更大参数量的模型通常需要多卡高端 GPU（如 A100、H100）或大量显存，用户或小团队往往难以负担。AirLLM 的思路不依赖硬件升级或昂贵的量化工具，而是从推理内存管理入手，重新设计了模型加载与计算流程。这不仅降低了算力成本，也打破了“大模型必须大算力”的固有认知。对于开源社区而言，它让社区贡献者、业余研究者和中小型企业也能更灵活地试验前沿模型，可能推动更多长尾场景下的本地化部署。此外，该项目在 2024 年 8 月已支持 Llama3.1 405B 运行在 8GB 显存上，这比此前业界共识的显存需求降低了约 50 倍。
对用户/开发者/创作者的影响
对于有本地推理需求的开发者或创作者，AirLLM 提供了更低的硬件门槛。一个拥有 4GB 显存 GPU（如入门级 NVIDIA 显卡）的用户即可尝试 70B 模型，不再需要凑齐多张高价显卡。安装过程简洁（只需 pip install airllm），API 与 Hugging Face Transformers 类似，上手成本较低。同时，开发者可以通过设置 compression='4bit' 或 '8bit' 来启用加速，无需额外调参。对于企业或内容创作者，如果希望在资源有限的边缘设备（如笔记本、小型服务器）上部署大模型做文本生成、摘要等任务，AirLLM 提供了一个可行的技术路线。不过，目前公开信息显示其默认会先保存分解后的模型到磁盘，对硬盘空间有一定要求。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是该项目的活跃度持续上升，更多模型的支持和社区贡献（如 CPU 推理）可能加速其生态成熟；二是其自称的“几乎可忽略的精度损失”在独立基准测试中是否经得起验证，值得追踪；三是同类低显存推理方案（如 llama.cpp、vLLM）也在进步，AirLLM 能否在性能、兼容性上保持优势，将影响开发者选择。
来源：github
