ollama 0.30.5 not support( Tesla V100-SXM2-32GB，Compute Capability 7.0)

快速结论：该报错通常出现在 Tesla V100（Compute Capability 7.0）等旧架构显卡上，使用 Ollama ≥0.30 版本加载模型时触发。优先排查 NVIDIA 驱动版本是否 ≥570，并确认是否因 llama.cpp 后端构建时未包含 CC 7.0 架构导致。

问题场景

用户在 Ubuntu 22.04 系统上，通过 Ollama 0.30.5 运行 ollama run gemma4:12b-it-q8_0 --verbose 时，出现 llama-server 内部 CUDA 错误。用户使用的显卡为 Tesla V100-SXM2-32GB（Compute Capability 7.0，Volta 架构），NVIDIA 驱动版本为 535.288.01，CUDA 12.2。

报错原文

Error: 500 Internal Server Error: llama-server process has terminated: CUDA error
CUDA error: device kernel image is invalid: CUDA error
CUDA error: device kernel image is invalid

相关日志（journalctl -u ollama -f）：

Jun 05 09:22:23 LLM-T01-Server ollama[2062701]: time=2026-06-05T09:22:23.191+08:00 level=INFO source=sched.go:1014 msg="selecting single GPU for llama-server model" main_gpu=0 id=0 filter_id=0 library=CUDA name=CUDA0 description="Tesla V100-SXM2-32GB" integrated=false predicted="23.0 GiB" available="31.4 GiB"
...

原因分析

可能原因：Ollama 0.30 版本基于最新的 llama.cpp 后端构建，但该版本默认的 CUDA 库（cuda_v13）编译时仅包含 Compute Capability ≥7.5（Turing 架构）的目标架构。Tesla V100（CC 7.0，Volta 架构）不在编译列表中，导致二进制内核镜像不兼容，触发 device kernel image is invalid 错误。

Issue 中后续版本（0.30.10）的用户日志明确证实了这一点：

msg="skipping CUDA device — compute capability not in compiled architectures" device="Tesla V100-SXM2-32GB" cc=700 archs="[750 800 ...]" libDirs="[..., cuda_v13]"

回退到 Ollama 0.24.0 可规避此问题，表明该版本兼容 CC 7.0。此外，NVIDIA 驱动版本 535.288.01 也可能过于陈旧（Ollama ≥0.30 可能要求驱动 ≥570）。

环境排查

NVIDIA 驱动版本（本例为 535.288.01）
Ollama 版本（本例为 0.30.5）
显卡型号与 Compute Capability：Tesla V100-SXM2-32GB（CC 7.0）
操作系统：Ubuntu 22.04.5 LTS
CUDA 版本（本例为 12.2，但可能与驱动绑定）

解决步骤

回退到 Ollama 0.24.0：作为最直接的临时解决方案，该版本已知支持 Tesla V100。
命令参考（需根据实际包管理器调整）：
sudo apt remove ollama
sudo curl -fsSL https://ollama.com/install.sh | sh（注意选择历史版本，或手动下载二进制）。
升级 NVIDIA 驱动（可优先尝试）：在 Issue 评论中，有用户通过将驱动从 535 升级到 580.142 或 580.159.03 后，问题完全解决。新驱动可让 Ollama 正常检测并使用 V100。
注意：安装闭源驱动时需确保系统兼容性（如使用 nvidia-driver-580 系列）。
升级 Ollama 到 ≥0.30.10：如果已完成驱动升级，可尝试更新 Ollama 到 0.30.10 或更高版本。根据 Issue 中用户的反馈，0.30.10 版本在驱动更新至 580.159.03 后运行正常，且日志显示 Ollama 成功回退到 cuda_v12 库识别 V100。
如果以上均不可行，可在 GitHub 上关注 Ollama 的后续修复（如为 cuda_v13 库添加 CC 7.0 支持），或自行编译 llama.cpp 时手动包含 CC 7.0 架构。

验证方法

修复后，重新运行命令：ollama run gemma4:12b-it-q8_0 --verbose。确认不再出现 Error: 500 Internal Server Error 或 CUDA error: device kernel image is invalid。也可查看日志（journalctl -u ollama -f），确认 GPU 被正确选中且无 skip 提示。例如，成功日志应包含：

msg="inference compute" id=0 ... library=CUDA compute=7.0 name=CUDA0 description="Tesla V100-SXM2-32GB"

参考来源

ollama/ollama #16533

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

ollama 0.30.5 not support( Tesla V100-SXM2-32GB，Compute Capability 7.0)