Ubuntu22.04 – Warning: could not connect to a running Ollama instance

快速结论：这个报错通常发生在 Ollama 服务端绑定了非默认 IP（如 OLLAMA_HOST=10.10.26.188）而客户端默认连接 localhost:11434 时。优先检查 OLLAMA_HOST 环境变量是否包含 0.0.0.0，并确认 HTTP 代理环境变量（如 HTTP_PROXY）是否干扰了客户端连接。

适用环境：Ubuntu 22.04，Ollama（Issue 中涉及版本 0.3.4、0.3.6），systemd 服务方式运行，NVIDIA GPU（RTX 3060，CUDA 12.3/驱动 12.2）。

最快修复方案：将 ollama.service 中的 OLLAMA_HOST 修改为 OLLAMA_HOST=0.0.0.0，然后执行 sudo systemctl daemon-reload 和 sudo systemctl restart ollama。此方案已在 Issue 中被用户验证有效。

注意事项：如果设置了 HTTP 代理，还需在 NO_PROXY 中显式添加 0.0.0.0/32（或对应 Ollama 服务监听地址），否则客户端仍可能通过代理访问而失败；此条为 Issue 中另一位用户验证的补充场景。

问题场景

在 Ubuntu 22.04 上通过 systemd 服务运行 Ollama，执行 ollama --version、ollama list 等客户端命令时，提示无法连接到正在运行的 Ollama 实例，但服务本身处于 active (running) 状态。升级 Ollama 或更新 NVIDIA CUDA 驱动后更容易触发。

报错原文

Warning: could not connect to a running Ollama instance
Warning: client version is 0.3.4

原因分析

可能原因：ollama.service 中设置了 Environment="OLLAMA_HOST=10.10.26.188"，使服务端只在该特定 IP 上监听；而 Ollama 客户端默认连接 localhost:11434，因此无法连通。改为 OLLAMA_HOST=0.0.0.0 后即可正常工作。

另一个可能原因：当服务监听在 0.0.0.0 但设置了 HTTP_PROXY 等代理环境变量时，客户端可能误将本地请求也通过代理发送，导致连接失败。此时需要在 NO_PROXY 中加入 0.0.0.0/32。

环境排查

检查 /etc/systemd/system/ollama.service 中的 OLLAMA_HOST 是否为特定 IP 而非 0.0.0.0。
确认 Ollama 服务是否正常运行：sudo systemctl status ollama。
检查是否存在代理环境变量：env | grep -i proxy（HTTP_PROXY、HTTPS_PROXY、NO_PROXY 等）。
确认 NVIDIA 驱动和 CUDA 版本与 Ollama 兼容（Issue 中涉及 CUDA 12.3 / 驱动 12.2）。

解决步骤

编辑 /etc/systemd/system/ollama.service，将 Environment="OLLAMA_HOST=10.10.26.188" 修改为 Environment="OLLAMA_HOST=0.0.0.0"。
执行 sudo systemctl daemon-reload 刷新配置。
执行 sudo systemctl restart ollama 重启服务。
若仍无法连接，检查是否设置了代理。如果有，在 shell 配置或 systemd 环境的 NO_PROXY 中添加 0.0.0.0/32（或服务实际监听的 IP）后再尝试。
最后运行 ollama --version 或 ollama list 验证客户端能否连接。

验证方法

重新执行 ollama --version，如果不再出现 Warning: could not connect to a running Ollama instance，而是显示类似 ollama version is 0.3.6 的正常输出，则问题已解决。同时可运行 ollama list 确认服务端模型列表能正常返回。