标签： LLM

报错“llama.cpp is slow on GPU”通常发生在用户误将 -t 参数设置为 GPU 核心数而非 CPU 线程数，或未通过 --n-gpu-layers 将模型层正确卸载到 GPU。优先排查 -t 和 --n-gpu-layers 参数是否合理。

MTP 推测解码时，草稿接受率在特定 --ctx-size （如 12032、17024 等）下骤降至近零，导致吞吐量低于无 MTP 基线。该问题呈现约 2048 token 的周期性，优先排查 GPU 电压稳定性或调整 --ctx-size 避开故障区间。

在 macOS Metal 环境下，如果只加载模型、从未运行过任何 prompt 就直接调用 llama_model_free ，会导致 Metal 的 wired memory（线框内存）不释放，系统内存压力居高不下。优先排查是否在释放模型前执行过任何 GPU 操作（包括无关的 dummy 任务）