标签: 人工智能

MLX runner: KV-cache memory accumulates per-request on dense models (independent of context size/tools), not released short of restart

MLX runner: KV-cache memory accumulates per-request on dense models (independent of context size/tools), not released short of restart

在 Ollama 的 MLX runner 中,当使用 dense(非混合架构)模型时,进程常驻内存会随请求次数单调增长,与上下文长度或工具 schema 无关;在长会话中可能持续增长并越过缓存预算上限,只有卸载模型或重启 Ollama 才能释放内存。优先排查 OLLAMA_KEEP_ALIVE 设

AMD APU bad allocation of gemma4:eXb models

AMD APU bad allocation of gemma4:eXb models

该报错是 AMD APU(带 iGPU 的 Ryzen 处理器)在 Vulkan 后端下加载 gemma4:eXb 系列 MoE 模型时,因单个专家权重张量超过 iGPU Vulkan 最大缓冲区分配限制,导致部分层回退到 CPU 运行。优先排查方向是确认是否使用了较新的 Ollama 版本(0.3