Misc. bug: UMA detection incorrectly limits available memory on AMD APUs with large TTM allocations

在 AMD APU(如 Strix Halo / gfx1151)上运行 llama.cpp 的 HIP/ROCm 后端时,UMA 检测逻辑会把 GPU 可用显存误判为系统 RAM 的 MemAvailable ,导致 llama_params_fit 错误缩小上下文或把层卸载到 CPU。优先排查该

快速结论:在 AMD APU(如 Strix Halo / gfx1151)上运行 llama.cpp 的 HIP/ROCm 后端时,UMA 检测逻辑会把 GPU 可用显存误判为系统 RAM 的 MemAvailable,导致 llama_params_fit 错误缩小上下文或把层卸载到 CPU。优先排查该卡实际可用显存来源(driver 报告值 vs /proc/meminfo)。

适用环境:Issue 中确认的环境包括:Linux(Ubuntu 24.04 / 内核 6.14 与 7.0.0-28-generic 均有报告)、AMD Strix Halo APU(gfx1151 / Ryzen AI Max+ 395)、ROCm 7.2.4 与 7.9.0、llama.cpp master(commit 0a0bba05e、555881e),以 -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151 构建,受影响模块为 llama-server。

最快修复方案:暂无确认的一步修复方案。讨论中验证有效的可优先尝试方案是修改 ggml/src/ggml-cuda/ggml-cuda.cu 中 UMA 内存取值逻辑,不再用 /proc/meminfo 直接覆盖驱动返回值,而是取两者最大值(仅当 UMA 计算值更大时才覆盖 *free)。另有评论建议改用 GGML_CUDA_ENABLE_UNIFIED_MEMORY=ON 并调整 BIOS/内核显存参数,但第二位复现者在 master 555881e 上实测该环境变量不会改变内存上报值。

注意事项:该补丁属于 Issue 讨论中的验证性修改,并非 Issue 正文给出的官方修复;需自行重新编译。直接对 HIP 禁用 UMA 路径(如 && !defined(GGML_USE_HIP))会重新破坏真正共享内存的小显存 iGPU。BIOS carveout 与 TTM/GTT 内核参数属于两种不同配置方式,修改前应确认自己的显存是 BIOS 划分还是 TTM 分配。

问题场景

用户在 AMD Strix Halo APU(gfx1151)上通过 HIP/ROCm 构建运行 llama-server,加载大模型(如 gpt-oss-120b MXFP4,-c 131072、--n-gpu-layers 999)。在 PR #17368 引入 UMA 支持后,llama_params_fit 自动适配逻辑报告显存不足,表现为上下文从 131072 被降到 4096、部分层被卸载到 CPU,性能明显下降。第二位复现者使用 BIOS 中 96 GB 显存划分(非 TTM 内核参数)也同样触发。

报错原文

Misc. bug: UMA detection incorrectly limits available memory on AMD APUs with large TTM allocations

llama_params_fit_impl: projected to use 64909 MiB of device memory vs. 98304 MiB of free device memory
llama_params_fit_impl: cannot fulfill margin of 1024 MiB, need to reduce device memory by 37767 MiB
llama_params_fit_impl: context size reduced from 131072 to 4096
llama_params_fit_impl: ROCm0 (AMD Radeon Graphics): 36 layers (21 overflowing), 27049 MiB used

原因分析

问题出在 ggml/src/ggml-cuda/ggml-cuda.cu 的 ggml_backend_cuda_device_get_memory():Linux 下用 prop.integrated > 0 判断是否为 UMA。AMD APU 会报告 integrated = true,于是函数改从 /proc/meminfo 读取 MemAvailable 作为可用显存,覆盖了驱动 hipMemGetInfo 返回的真实可用显存。结果是:

  • TTM 配置下:系统可见 RAM 约 27 GB,而 TTM 实际可分配约 96 GB,约 70 GB 显存被“看不见”。
  • BIOS carveout 配置下:hipMemGetInfo 报告 free 约 98,148 MiB,而 MemAvailable 仅约 28.7 GiB,同样被错误压低。

讨论中还指出,设置 GGML_CUDA_ENABLE_UNIFIED_MEMORY 并不会绕过该逻辑,因为 prop.integrated 已使 UMA 路径生效。评论中关于内核版本与 TTM 生效范围的说明未完全确认,按“可能原因”对待。

环境排查

  • 确认运行的是 HIP/ROCm 构建:构建参数包含 -DGGML_HIP=ON,目标架构含 gfx1151。
  • 确认 ROCm 版本(Issue 中为 7.2.4 与 7.9.0)与 llama.cpp commit(0a0bba05e、555881e)。
  • 用 llama-cli --list-devices 对比上报的 free/total 与驱动值。
  • 用 hipMemGetInfo(或 ROCm 自带工具)查看驱动报告的 free/total。
  • 查看 /proc/meminfo 中的 MemAvailable,与驱动报告值比较。
  • 确认显存来源:BIOS carveout 还是 amdgpu.gttsize / ttm.pages_limit / ttm.page_pool_size 内核参数。
  • 确认是否设置了 GGML_CUDA_ENABLE_UNIFIED_MEMORY 环境变量。

解决步骤

  1. 先复现并记录基线:运行 llama-cli --list-devices,记下当前上报的 free/total MiB;对照驱动报告值与 MemAvailable,确认是否属于本问题(上报值约等于系统 RAM 而非驱动 free 值)。
  2. 修改 ggml/src/ggml-cuda/ggml-cuda.cu 的 UMA 分支:保留原有 UMA 取值的计算,但只在上报值更大的情况下覆盖,即取 hipMemGetInfo 与 /proc/meminfo 两者的最大值,而不是无条件覆盖。讨论中给出的示意写法如下(可优先尝试,需自行核对当前源码上下文):
if (ggml_backend_cuda_get_available_uma_memory(&available_memory_kb, &free_swap_kb) && available_memory_kb > 0) {
    const size_t uma_free = (size_t)available_memory_kb * 1024;
    if (uma_free > *free) {   // only raise to system RAM, never clobber real VRAM
        *free = uma_free;
    }
}
  1. 用原构建参数重新编译(例如 -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1151),安装/替换到运行路径。
  2. 再次运行 llama-cli --list-devices,确认上报 free 已接近驱动报告值;必要时分别在设置与不设置 GGML_CUDA_ENABLE_UNIFIED_MEMORY 的情况下各测一次。
  3. 如采用评论中的替代思路,可评估 GGML_CUDA_ENABLE_UNIFIED_MEMORY=ON 配合调整 BIOS VRAM 划分/TTM 参数的组合;但注意第二位复现者实测该环境变量在 master 上不改变上报值,因此不作为首选。
  4. 用原 llama-server 命令重新加载模型,观察 llama_params_fit_impl 日志是否不再缩小上下文。

验证方法

打补丁后,llama_params_fit_impl 日志应显示“will leave … >= 1024 MiB of free device memory, no changes needed”,上下文保持 131072,模型层不再因显存误判而卸载。两位复现者的实测结果:未打补丁时约 28,239 MiB / 98,304 MiB,打补丁后约 98,148 MiB / 98,304 MiB,85 GB 级模型可完整驻留 GPU 正常加载。若验证结果仍接近系统 RAM 值,说明补丁未生效或并非本问题。

参考来源

ggml-org/llama.cpp #18159

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注