Granite 4.2 models (8B/3B) do not respect safe default context ( eg. 4096) base on available VRAM and cause OOM kills

该问题通常发生在显存(VRAM)较小且内存有限(≤16GB)的消费级硬件上,加载 Granite 4.2 系列模型(8B/3B)时因模型内部固定了 num_ctx 131072 而导致 OOM。优先排查模型是否有固定的 num_ctx 参数,并尝试用 Modelfile 或环境变量显式降低上下文长度








