unsupported JetPack

用户在使用 NVIDIA Jetson 设备(如 Orin AGX、Orin Nano、Thor)并安装了 JetPack 7.2 后,通过官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh 安装 Ollama,安装过程中出现 unsupport

unsupported JetPack

unsupported JetPack

快速结论:报错发生在 NVIDIA Jetson 设备上运行 Ollama 时,JetPack 7.2 不被支持。优先检查 JetPack 版本,若已安装且使用 CPU 运行,可尝试通过设置环境变量 JETSON_JETPACK=6 强制让 Ollama 使用 GPU。

问题场景

用户在使用 NVIDIA Jetson 设备(如 Orin AGX、Orin Nano、Thor)并安装了 JetPack 7.2 后,通过官方安装脚本 curl -fsSL https://ollama.com/install.sh | sh 安装 Ollama,安装过程中出现 unsupported JetPack detected 报错,或者安装后模型运行时只使用 CPU(100% CPU 占用)而未使用 GPU。

报错原文

WARNING: Unsupported JetPack version detected.  GPU may not be supported
unsupported JetPack detected

原因分析

可能原因:Ollama 的默认安装脚本在 JetPack 7.2(L4T r38/r39)上未能正确检测或映射支持的 CUDA 版本,导致无法加载预编译的 GPU 支持包。具体地,Ollama 支持的预编译计算能力列表(如 8.0、8.5、11.0)中没有包含 Jetson Orin 设备的计算能力 8.7,导致 GPU 无法被正常调用。

环境排查

  • 确认 JetPack 版本:cat /etc/nv_tegra_release
  • 确认 JavaPack 7.2 对应的 L4T 版本(r38/r39)
  • 确认 Ollama 版本:ollama --version
  • 确认 GPU 是否被识别:通过 jtopnvidia-smi(若可用)检查 GPU 使用率
  • 确认 CUDA 版本:nvcc --version
  • 确认 PyTorch 是否正确安装(若使用相关模型)
  • 解决步骤

    1. 在安装或运行 Ollama 之前,手动设置环境变量:
      export JETSON_JETPACK=6
      然后运行安装脚本:
      curl -fsSL https://ollama.com/install.sh | sh(若已安装可重装)
    2. 或者,使用社区提供的修改版安装脚本,该脚本强制将 JetPack 7 映射到 cuda_v13(SBSA)构建:
      参考:victortong-git/jetson-orin-nano-tuning
    3. 如果上述方法有效,可关注 GitHub PR #16949,该 PR 修复了 JetPack 7 的自动检测问题,映射到正确的 CUDA 版本。等待该 PR 合并到正式发布版后,直接更新 Ollama 即可。
    4. 可优先尝试:如果问题仅出现在 Orin 设备(计算能力 8.7),而 Thor 设备(计算能力 11.0)正常,建议在 Orin 上强制使用 JETSON_JETPACK=6 作为临时方案。

    验证方法

    运行一个较小的模型(如 ollama run llama3.2:1b)并通过 jtophtop 观察 GPU 使用率。如果 GPU 出现活动且 CPU 占用明显下降,则说明问题已解决。若仍看到 100% CPU 占用而 GPU 空闲,则需要回退步骤或等待官方修复。

    参考来源

    ollama/ollama #16602

    GamsGo AI

    AI 工具推荐

    想把多个 AI 模型放在一个入口?

    GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

    了解 GamsGo AI

    推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

celebrityanime
celebrityanime
文章: 11446

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注