快速结论:在 AMD APU(如 Strix Halo / gfx1151)上运行 llama.cpp 的 HIP/ROCm 后端时,UMA 检测逻辑会把 GPU 可用显存误判为系统 RAM 的 MemAvailable,导致 llama_params_fit 错误缩小上下文或把层卸载到 CPU。优先排查该卡实际可用显存来源(driver 报告值 vs /proc/meminfo)。
适用环境:Issue 中确认的环境包括:Linux(Ubuntu 24.04 / 内核 6.14 与 7.0.0-28-generic 均有报告)、AMD Strix Halo APU(gfx1151 / Ryzen AI Max+ 395)、ROCm 7.2.4 与 7.9.0、llama.cpp master(commit 0a0bba05e、555881e),以 -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151 构建,受影响模块为 llama-server。
最快修复方案:暂无确认的一步修复方案。讨论中验证有效的可优先尝试方案是修改 ggml/src/ggml-cuda/ggml-cuda.cu 中 UMA 内存取值逻辑,不再用 /proc/meminfo 直接覆盖驱动返回值,而是取两者最大值(仅当 UMA 计算值更大时才覆盖 *free)。另有评论建议改用 GGML_CUDA_ENABLE_UNIFIED_MEMORY=ON 并调整 BIOS/内核显存参数,但第二位复现者在 master 555881e 上实测该环境变量不会改变内存上报值。
注意事项:该补丁属于 Issue 讨论中的验证性修改,并非 Issue 正文给出的官方修复;需自行重新编译。直接对 HIP 禁用 UMA 路径(如 && !defined(GGML_USE_HIP))会重新破坏真正共享内存的小显存 iGPU。BIOS carveout 与 TTM/GTT 内核参数属于两种不同配置方式,修改前应确认自己的显存是 BIOS 划分还是 TTM 分配。
问题场景
用户在 AMD Strix Halo APU(gfx1151)上通过 HIP/ROCm 构建运行 llama-server,加载大模型(如 gpt-oss-120b MXFP4,-c 131072、--n-gpu-layers 999)。在 PR #17368 引入 UMA 支持后,llama_params_fit 自动适配逻辑报告显存不足,表现为上下文从 131072 被降到 4096、部分层被卸载到 CPU,性能明显下降。第二位复现者使用 BIOS 中 96 GB 显存划分(非 TTM 内核参数)也同样触发。
报错原文
Misc. bug: UMA detection incorrectly limits available memory on AMD APUs with large TTM allocations
llama_params_fit_impl: projected to use 64909 MiB of device memory vs. 98304 MiB of free device memory
llama_params_fit_impl: cannot fulfill margin of 1024 MiB, need to reduce device memory by 37767 MiB
llama_params_fit_impl: context size reduced from 131072 to 4096
llama_params_fit_impl: ROCm0 (AMD Radeon Graphics): 36 layers (21 overflowing), 27049 MiB used
原因分析
问题出在 ggml/src/ggml-cuda/ggml-cuda.cu 的 ggml_backend_cuda_device_get_memory():Linux 下用 prop.integrated > 0 判断是否为 UMA。AMD APU 会报告 integrated = true,于是函数改从 /proc/meminfo 读取 MemAvailable 作为可用显存,覆盖了驱动 hipMemGetInfo 返回的真实可用显存。结果是:
- TTM 配置下:系统可见 RAM 约 27 GB,而 TTM 实际可分配约 96 GB,约 70 GB 显存被“看不见”。
- BIOS carveout 配置下:
hipMemGetInfo报告 free 约 98,148 MiB,而MemAvailable仅约 28.7 GiB,同样被错误压低。
讨论中还指出,设置 GGML_CUDA_ENABLE_UNIFIED_MEMORY 并不会绕过该逻辑,因为 prop.integrated 已使 UMA 路径生效。评论中关于内核版本与 TTM 生效范围的说明未完全确认,按“可能原因”对待。
环境排查
- 确认运行的是 HIP/ROCm 构建:构建参数包含
-DGGML_HIP=ON,目标架构含gfx1151。 - 确认 ROCm 版本(Issue 中为 7.2.4 与 7.9.0)与 llama.cpp commit(
0a0bba05e、555881e)。 - 用
llama-cli --list-devices对比上报的 free/total 与驱动值。 - 用
hipMemGetInfo(或 ROCm 自带工具)查看驱动报告的 free/total。 - 查看
/proc/meminfo中的MemAvailable,与驱动报告值比较。 - 确认显存来源:BIOS carveout 还是
amdgpu.gttsize/ttm.pages_limit/ttm.page_pool_size内核参数。 - 确认是否设置了
GGML_CUDA_ENABLE_UNIFIED_MEMORY环境变量。
解决步骤
- 先复现并记录基线:运行
llama-cli --list-devices,记下当前上报的 free/total MiB;对照驱动报告值与MemAvailable,确认是否属于本问题(上报值约等于系统 RAM 而非驱动 free 值)。 - 修改
ggml/src/ggml-cuda/ggml-cuda.cu的 UMA 分支:保留原有 UMA 取值的计算,但只在上报值更大的情况下覆盖,即取hipMemGetInfo与/proc/meminfo两者的最大值,而不是无条件覆盖。讨论中给出的示意写法如下(可优先尝试,需自行核对当前源码上下文):
if (ggml_backend_cuda_get_available_uma_memory(&available_memory_kb, &free_swap_kb) && available_memory_kb > 0) {
const size_t uma_free = (size_t)available_memory_kb * 1024;
if (uma_free > *free) { // only raise to system RAM, never clobber real VRAM
*free = uma_free;
}
}
- 用原构建参数重新编译(例如
-DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151),安装/替换到运行路径。 - 再次运行
llama-cli --list-devices,确认上报 free 已接近驱动报告值;必要时分别在设置与不设置GGML_CUDA_ENABLE_UNIFIED_MEMORY的情况下各测一次。 - 如采用评论中的替代思路,可评估
GGML_CUDA_ENABLE_UNIFIED_MEMORY=ON配合调整 BIOS VRAM 划分/TTM 参数的组合;但注意第二位复现者实测该环境变量在 master 上不改变上报值,因此不作为首选。 - 用原
llama-server命令重新加载模型,观察llama_params_fit_impl日志是否不再缩小上下文。
验证方法
打补丁后,llama_params_fit_impl 日志应显示“will leave … >= 1024 MiB of free device memory, no changes needed”,上下文保持 131072,模型层不再因显存误判而卸载。两位复现者的实测结果:未打补丁时约 28,239 MiB / 98,304 MiB,打补丁后约 98,148 MiB / 98,304 MiB,85 GB 级模型可完整驻留 GPU 正常加载。若验证结果仍接近系统 RAM 值,说明补丁未生效或并非本问题。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


