Unreliable free memory resulting in models not running

快速结论：该报错发生在 Ollama 尝试加载模型时，因系统可用内存（free memory）判断不稳定导致模型加载被拒绝。优先排查：检查 Ollama 服务日志中的内存和交换空间数值；如果系统内存接近“过度承诺”阈值，可以考虑增加交换空间、设置更小的上下文大小或使用更小的模型。

问题场景

运行 Ollama 加载模型（特别是 CPU-only 推理场景），模型可能有时能加载、有时被拒绝，尤其在内存接近临界值、系统有其他程序占用内存时更容易触发。用户反馈在 Linux、Windows ARM、macOS 上均会出现。

报错原文

Ollama compares the expected memory requirements of a model with the amount of free memory seen by ollama, and prints an error message if the model memory requirements are larger.

实际错误消息格式可能类似 insufficient memory to load model，具体以服务日志为准。

原因分析

Ollama 在加载模型前，会检查“未分配 RAM + 未分配交换空间”的总和，是否大于模型加载所需的内存（包括无法放进 GPU 的模型权重和上下文空间）。如果总和不足，则拒绝加载以避免触发 OOM-killer。然而，Linux 上可用内存可能因缓冲缓存、其他进程动态使用而产生较大波动（如一用户反馈 16GB 内存中“可用内存”在 9.5GB 到 13GB 之间变化），导致同一模型有时加载成功、有时失败。Ollama 本身未对系统内存设置等待收敛机制（类似 GPU VRAM 的 5 秒等待），因此对瞬时波动更敏感。

环境排查

• Ollama 版本：确认是否为 latest mainline 或最新稳定版。
• 操作系统：Linux（特别关注内存波动）、Windows ARM、macOS。
• 内存：总 RAM 容量、交换空间大小（特别是 Windows/macOS 动态交换）。
• 模型上下文长度：是否设置过大的上下文（context size）。
• Ollama 服务日志：通过 ollama serve 或查看日志文件，获取模型加载时报告的可用内存和所需内存数值。

解决步骤

1. 检查 Ollama 服务日志：运行 ollama serve 并加载模型，查看输出中内存相关数值是否稳定。参考 Ollama 故障排查文档。
2. 减小模型负载：尝试使用更小的模型、降低上下文大小（如 --num-ctx 参数），或增加交换空间（如 Linux 下 fallocate -l 4G /swapfile && mkswap /swapfile && swapon /swapfile）。
3. 手动预分配内存（可优先尝试）：使用环境变量 OLLAMA_MEMORY 强制占用一块大内存，迫使系统调整交换状态。以下是 Python 版本的包装脚本（保存为 ollama_wrapper.py，放在 PATH 中优先于原 ollama 二进制）：

   #!/usr/bin/env python3
   # 为动态交换系统强制分配缓冲区，迫使系统添加交换，然后执行 ollama
   import os, platform, sys
   ollama_binary = "ollama.exe" if platform.system() == "Windows" else "ollama"
   _ = "a" * int(os.environ.get("OLLAMA_MEMORY", "0"))
   os.execvp(ollama_binary, [ollama_binary] + sys.argv[1:])

   使用方式：OLLAMA_MEMORY=10000000000 ollama run some-large-model（数值单位为字节，如 10GB = 10000000000）。

4. 如不适用，可能原因：Ollama 对系统内存的采样存在延迟或不一致。社区建议未来可增加环境变量（如 OLLAMA_MAX_MEMORY）让用户手动指定最大可用内存，但尚未实现。目前可关注 Issue 中的后续进展。

验证方法

重新加载之前被拒绝的模型，确认不再出现内存不足错误。检查 ollama serve 日志中报告的可用内存与模型所需内存的比较数值，确保二者关系合理（可用内存明显大于所需内存）。如果使用手动分配脚本，确认环境变量生效且模型能正常加载。

参考来源

ollama/ollama #6918

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。