ggml_aligned_malloc: insufficient memory (attempted to allocate 491520.00 MB)

快速结论：这个报错通常发生在 llama.cpp 使用模型默认的最大上下文（context）窗口初始化 KV Cache 时，因上下文设置过大导致需要分配数百 GB 内存。优先排查并把上下文长度手动设置为你实际需要的小数值。

适用环境：llama.cpp（Issue 中涉及的版本 b7690 为确认触发版本，b7497 确认同样存在问题；b7236 与 b6982 为确认正常版本），Linux 系统，使用 CPU 推理（mmap = false, direct_io = true）。

最快修复方案：启动 llama-server 时手动指定较小的上下文长度，例如在命令中加入 -c 8192（或按实际需求设置），即可绕过默认超大上下文导致的 KV Cache 内存申请失败。

注意事项：该方案是 Issue 中确认有效的做法，但属于规避手段而非根因修复；如果能接受较旧的 llama.cpp 版本（如 b7236 或更早），也可以回退版本使用，Issue 中未明确根因与修复 commit。

问题场景

用户在 Linux 环境下使用 llama.cpp 的 llama-server 加载 Llama 4 Scout 模型（Q6K 量化版，约 83GB），以 CPU 推理方式运行。此前用 64 核配置在 128GB 内存上运行正常，改用 128 核并升级到较新版本（b7690）后，模型加载过程中尝试分配近 500GB 内存失败，进程退出。

报错原文

ggml_aligned_malloc: insufficient memory (attempted to allocate 491520.00 MB)
ggml_backend_cpu_buffer_type_alloc_buffer: failed to allocate buffer of size 515396075520
alloc_tensor_range: failed to allocate CPU buffer of size 515396075520

原因分析

根据 Issue 讨论中的开发者解释，问题根因在于新版 llama.cpp 默认使用模型允许的最大上下文长度来初始化 KV Cache。Llama 4 Scout 模型支持的上下文上限为 10485760 tokens（约 1000 万），对应的 KV Cache 缓冲大小约 500GB，远超常见的 128GB 内存配置，因此分配失败。旧版本（b7236 及更早）不会默认使用该巨大上下文，故未触发此问题。用户最初怀疑与线程数量变化、编译器切换（GCC 到 LLVM/libc++）有关，但经确认与这些因素无直接关系。

环境排查

确认 llama.cpp 版本：当前版本是否为 b7236 之后、包含默认大上下文行为的版本（如 b7497、b7690）。
确认模型允许的最大上下文长度：可通过 llama-server 启动日志中的 n_ctx 字段查看，本例为 10485760。
确认系统物理内存大小（本例为 128GB），以及是否启用了 swap 或 overcommit 设置。
确认启动参数中是否手动指定过 -c / --ctx-size；未指定时默认取模型最大值。

解决步骤

启动 llama-server 时手动指定上下文长度，例如 ./llama-server -t 4 -m /mnt/ai/models/llama-4-scout-quant-Q6K.gguf -c 8192（按实际需求调整数值）。
如果问题仍然存在，逐步降低 -c 值，直到 KV Cache 内存占用（可在启动日志中查看 CPU buffer size）明显低于物理内存总量。
如无法确认合适的值，可先回退到已验证正常的旧版本（如 b7236）继续使用，待了解新版上下文默认行为后再升级。
如果更换到低配环境（如 8GB 内存的小型 VM），仅降低上下文通常仍不足以加载 83GB 模型；需考虑更换更小的模型或量化格式。

验证方法

重新启动 llama-server 后，观察启动日志是否不再出现 insufficient memory 报错，且 CPU model buffer size 与 CPU output buffer size 之和不超过可用内存。确认模型加载完成后，可正常发起推理请求即可视为解决。若启动时仍出现同类错误，可继续调低 -c 值或确认系统内存是否足够。