Eval bug: OpenVINO backend fails with “unable to create context” when KV cache exceeds CL_DEVICE_MAX_MEM_ALLOC_SIZE

快速结论：这个报错通常发生在使用 llama.cpp 的 OpenVINO 后端在 Intel 集成显卡上加载模型时，KV cache 需要的显存超过设备单次内存分配上限。优先排查并降低上下文长度或改用更省显存的 KV cache 类型。

适用环境：llama.cpp 0.4.1-dev（commit 972d2313b），Linux，GGML 后端为 OpenVINO，硬件为 Intel 集成显卡 UHD Graphics 770，目标设备为 OPENVINO0。

最快修复方案：暂无确认的一步修复方案。Issue 中已验证的临时规避方法是设置 GGML_OPENVINO_STATEFUL_EXECUTION=1，避免把 KV cache 搬到设备上；另外可尝试降低 -c 上下文长度，或改用 -ctk q8_0 -ctv q8_0 这类更小的 cache 类型。

注意事项：GGML_OPENVINO_STATEFUL_EXECUTION=1 不是默认模式，仅作为 workaround；-ctk q8_0 -ctv q8_0 是否被 OpenVINO 后端接受在原 Issue 中并未实际验证。根本修复需要让 OpenVINO 后端正确返回设备真实的最大分配上限，使 ggml 按层分块分配 KV cache。

问题场景

用户在 Linux 上使用 llama.cpp 的 OpenVINO 后端，把模型完全 offload 到 Intel 集成显卡（如 UHD Graphics 770）运行。当 -c 上下文长度开得比较大时，KV cache 所需显存超过设备的 CL_DEVICE_MAX_MEM_ALLOC_SIZE 限制，导致模型上下文初始化失败，报 unable to create context。该问题与具体模型无关，Llama-3.2-1B/3B、Qwen2.5-14B/32B 等都可能触发，只是触发上下文阈值不同。

报错原文

E llama_init_from_model: failed to initialize the context: Exception from src/inference/src/cpp/remote_context.cpp:73:
Check '!exceed_allocatable_mem_size' failed at src/plugins/intel_gpu/src/runtime/engine.cpp:324:
[GPU] Exceeded max size of memory object allocation: requested 7516192768 bytes, but max alloc size supported by device is 4294959104 bytes. Please try to reduce batch size, use lower precision, or set ov::intel_gpu::hint::enable_large_allocations config property to true.
E cmn  common_init_: failed to create context with model '/home/lucasso/models/Llama-3.2-3B-Instruct-Q4_K_M.gguf'
E llama_completion: error: unable to create context

原因分析

根因是 OpenVINO 后端的 ggml_backend_openvino_buffer_type_get_max_size 返回了 SIZE_MAX，相当于告诉 ggml 设备没有分配上限。ggml 因此把 K 和 V、所有层的 KV cache 作为一整块内存对象去申请，而不是像 SYCL、OpenCL 等后端那样按层分块申请。以日志中的 Llama-3.2-3B 为例：28 层、8 个 KV head、head size 128、f16 存储，每 token 为 2 × 28 × 8 × 128 × 2 = 114,688 字节，65,536 token 总计 7,516,192,768 字节，超过 UHD 770 的 4,294,959,104 字节单次分配上限。OpenVINO 报错建议的 ov::intel_gpu::hint::enable_large_allocations 在该路径下无效，因为该标志来自 program_builder.cpp，调用时 KV cache 已经分配完成，且创建 KV cache 时该标志始终为 false。

环境排查

确认 llama.cpp 版本，Issue 中为 0.4.1-dev，commit 972d2313b。
确认 GGML 后端是否为 OpenVINO，以及是否使用 --device OPENVINO0。
确认 Intel 集成显卡型号及单次最大分配上限，Issue 中 UHD Graphics 770 约为 4,294,959,104 字节（约 4 GiB）。
确认是否同时存在 iGPU 与其他 GPU；若有，需用 NEOReadDebugKeys=1 和 FilterBdfPath 屏蔽其他 GPU，否则可能实际跑在 CPU 上而不触发该问题。
确认 -c 上下文长度、模型层数、KV head 数与 head size，估算 KV cache 总大小是否超过设备单次分配上限。
确认是否设置了 GGML_OPENVINO_STATEFUL_EXECUTION，默认模式才会触发本问题。

解决步骤

先确认当前确实运行在 Intel iGPU 的 OpenVINO 后端上。多 GPU 机器参考 Issue 设置 export NEOReadDebugKeys=1 和 export FilterBdfPath=0000:00:02.0，避免误跑在 CPU 上。
可优先尝试设置 GGML_OPENVINO_STATEFUL_EXECUTION=1，避免把 KV cache 移到设备上，从而绕过单次大块分配限制。
如果不需要长上下文，降低 -c 值。Issue 评论估算 f16 下 Llama-3.2-3B 约 37K token 以内可低于 4 GiB，例如 -c 32768 约 3.5 GiB。
可优先尝试改用更省空间的 KV cache 类型，例如 -ctk q8_0 -ctv q8_0；该方式在 Issue 中仅为建议，未实际在 OpenVINO 后端验证。
关注并升级到包含该修复的 llama.cpp 版本。该 bug 已由作者修复并通过 PR 合入开发分支，原 Issue 因 PR 合并成功而关闭。

验证方法

使用相同模型、相同 -c、相同 OpenVINO 设备重新运行，若不再出现 Exceeded max size of memory object allocation，且 llama_init_from_model 不再报 failed to initialize the context，模型能正常完成一次推理，即可认为问题已解决或已被绕过。