Segfault / Memory error with 65B model (128GB RAM)

该问题出现在 M1 Ultra / 128GB 上加载 65B 模型、模型分片全部加载完成后开始推理时,因 llama.cpp 上下文内存池分配不足触发 Memory error ,随后进程 Segfault 。优先排查并更新到包含修复提交的 llama.cpp 版本。

快速结论:该问题出现在 M1 Ultra / 128GB 上加载 65B 模型、模型分片全部加载完成后开始推理时,因 llama.cpp 上下文内存池分配不足触发 Memory error,随后进程 Segfault。优先排查并更新到包含修复提交的 llama.cpp 版本。

适用环境:Issue 已确认:llama.cpp(master 分支)、macOS、Apple M1 Ultra / 128GB 内存、65B 模型 q4_0 分片(8 个分片)。Python、CUDA、PyTorch 版本未在 Issue 中说明。

最快修复方案:拉取包含修复提交 7d9ed7b25fe17db3fc8848b5116d14682864ce8e 的代码,运行 make 重新编译后再次运行。Issue 中用户确认该方案有效。

注意事项:该修复针对的是上下文内存池分配不足,不代表 65B 模型在任何较小内存机器上都能运行;30B 在 64GB M1 Max 上可正常运行属于 Issue 中的对照信息。重新编译后建议使用原有命令行参数复测,确认报错不再出现。

问题场景

用户在 M1 Ultra / 128GB 机器上使用 llama.cpp 的 ./main 运行 65B 模型的 q4_0 分片,参数为 -t 8 -n 128,并附带一段提示词。8 个模型分片均显示加载完成,随后在开始采样/推理阶段报内存池空间不足,进程以 segmentation fault 退出。同一用户表示 30B 模型运行正常,甚至在 64GB 的 M1 Max 上也可以运行。

报错原文

ggml_new_tensor_impl: not enough space in the context's memory pool (needed 268478672, available 268435456)
[1]    54172 segmentation fault  ./main -m ./models/65B/ggml-model-q4_0.bin -t 8 -n 128 -p

原因分析

报错明确显示 ggml_new_tensor_impl 在上下文内存池中申请约 268,478,672 字节,而可用空间为 268,435,456 字节,需求略大于可用容量,说明上下文内存池大小计算或分配不足以容纳 65B 模型推理所需张量。随后触发的 segmentation fault 与这次内存分配失败相关。Issue 讨论中给出的修复提交针对该问题,因此最可能的原因是 llama.cpp 当时版本中与上下文内存池分配相关的缺陷,而非用户机器的 128GB 物理内存不足。

环境排查

  • 确认 llama.cpp 是否为包含修复提交 7d9ed7b25fe17db3fc8848b5116d14682864ce8e 的版本,可先更新仓库再重新编译。
  • 确认运行的是重新 make 后的 ./main 二进制,而不是旧版本残留可执行文件。
  • 确认模型为 65B q4_0 的 8 个分片,且分片文件完整、路径一致。
  • 确认运行参数与 Issue 中一致(-t 8 -n 128),便于对比复测结果。
  • Issue 未提供 Python、CUDA、PyTorch、显卡驱动等信息,这些项目在苹果 M1 环境下不是本案排查重点。

解决步骤

  1. 进入 llama.cpp 仓库目录,拉取包含修复提交的最新代码。
  2. 运行 make 重新编译,确保生成新的 ./main。
  3. 使用与复现时相同的模型路径和参数再次运行 65B 模型推理。
  4. 如果仍出现相同内存池报错,可优先尝试减小上下文相关设置或换用更小模型做对照,但需注意 Issue 中并未验证这些替代方案。

验证方法

重新编译后运行相同命令,若不再出现 ggml_new_tensor_impl: not enough space in the context's memory pool 和 segmentation fault,并且能够正常输出采样耗时统计(Issue 中修复后用户贴出了 mem per token、load time、sample time、predict time、total time 等统计),即可确认问题已解决。

参考来源

ggml-org/llama.cpp #12

修复提交:7d9ed7b25fe17db3fc8848b5116d14682864ce8e

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36596

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注