Misc. bug: It’s taking a long time for the download or model to load.

快速结论：该问题通常出现在 llama.cpp b7717 及以上版本，用户通过 -hf 参数下载或加载模型时，会遇到长达数分钟的卡顿甚至崩溃。优先排查是否为 IPv6 网络路径不可达导致 TCP 连接阻塞，以及确认是否使用了受影响的版本。

问题场景

用户在 Linux 系统上运行 llama.cpp（llama-cli 或 llama-server），使用 -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M 等命令下载或加载模型时触发。问题重现于 Vulkan、ROCm 和 CPU 后端，涉及 AMD Radeon Graphics 和 AMD Radeon Graphics (RADV RENOIR) 等显卡。

报错原文

[==================================================] 100%  (768 MB / 768 MB) 

Loading model... /llama-cli: /usr/src/debug/hip-runtime/rocm-systems-rocm-7.2.0/projects/clr/hipamd/src/hip_code_object.cpp:400: hipError_t hip::StatCO::getStatFunc(ihipModuleSymbol_t**, const void*, int): Assertion `err == hipSuccess' failed.
[1]    33800 IOT instruction (core dumped)  ./llama-cli -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M

注意：部分用户可能先遇到卡顿（下载前或加载模型时阻塞），然后才出现上述断言失败的崩溃。网络阻塞和模型加载崩溃可能是两个独立问题，但都可能由同一版本引入。

原因分析

可能原因有两个方面：

• 网络阻塞：排查跟踪发现，卡顿源于 llama.cpp 在 -hf 调用时，DNS 解析返回 IPv6 地址，但客户端会优先尝试 IPv6 连接。当主机拥有全局 IPv6 地址和默认 IPv6 路由，但 IPv6 出口实际被黑洞（如 ISP 仅广播 RA/前缀但不路由）时，poll() 会在 TCP 连接的 SYN-SENT 状态阻塞，等待完整的 TCP 超时（约 20–180 秒），然后才回退到 IPv4。这是 b7716 之后的版本引入的回归，且与 Happy Eyeballs (RFC 8305) 标准的快速双栈回退行为不一致。
• 模型加载崩溃：在下载完成后，hip 代码对象加载时断言失败（assertion err == hipSuccess），可能为 ROCm/HIP 运行时与 llama.cpp 的兼容性问题。

注意：Issue 讨论中确认，该网络阻塞问题独立于模型加载崩溃，两者都可能发生在受影响的版本中。

环境排查

• llama.cpp 版本：确认版本是否 ≥ b7717（如 b7717、b8192、b9870 等）。b7716 及更早版本不受影响。
• 系统网络设置：检查是否启用 IPv6，是否存在全局 IPv6 地址和默认路由，以及 IPv6 出口是否可达。
• 后端与显卡：确认使用的后端类型（Vulkan/ROCm/CPU），以及 ROCm 版本（如 7.2.0）与显卡型号（如 gfx90c）。
• DNS 解析结果：运行 dig huggingface.co AAAA 查看是否返回 IPv6 地址。

解决步骤

1. 强制 IPv4 连接（可优先尝试）：在 llama-cli 或 llama-server 运行环境中禁用 IPv6，或在 /etc/gai.conf 中添加 precedence ::ffff:0:0/96 100 以优先使用 IPv4 地址。注意此操作会影响系统全局网络栈。
2. 使用离线模式（可选，针对缓存模型）：如果模型文件已本地缓存，可添加 --offline（或设置 LLAMA_ARG_OFFLINE）跳过网络阶段。
3. 回滚到 b7716 版本：如果无法解决网络阻塞，且模型加载崩溃无法容忍，建议使用 b7716 版本。
4. 后续版本修复跟踪：关注 llama.cpp 后续发布版本中是否包含 IPv6 连接超时优化（如实现 Happy Eyeballs 或缩短每协议族超时时间）。

验证方法

针对网络阻塞问题：运行 ./llama-cli -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M，观察从命令执行到开始下载或显示“Loading model…”的延迟时间。如果延迟从数分钟降低到正常（通常 1–5 秒），说明问题已缓解。

针对模型加载崩溃：如果下载完成后未出现断言失败，模型正常加载并可用，则确认修复。

参考来源

ggml-org/llama.cpp #20136

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。