标签： 人工智能

这个报错通常发生在使用 llama.cpp 的 OpenVINO 后端在 Intel 集成显卡上加载模型时，KV cache 需要的显存超过设备单次内存分配上限。优先排查并降低上下文长度或改用更省显存的 KV cache 类型。

在多 GPU 机器上使用 llama.cpp 的 OpenVINO 后端时，如果 OpenVINO 把设备枚举为 GPU.0、GPU.1 这种带编号的名字，后端内部大量与字符串 "GPU" 的精确比较会失配，导致设备回退 CPU、部分算子没有按限制路由、KV cache 留在主机、GQN 快速 at

当单个 /v1/embeddings 请求里出现“短输入 + 需要截断的长输入”时，vLLM 会把 [Bug]: /v1/embeddings deadlocks when a truncated input follows a short one in the same request 表现为请求