[Bug][KV Offload][P2P] Symmetric fetch can remain non-terminal after confirmed lookup hits; consumer stays deferred for 30s

在 vLLM 对称 P2P KV offload 模式下,若同一 kv_request_id 经历多次 lookup→fetch 轮次,consumer 可能因 producer 端状态被意外清空而等待 30 秒超时。优先排查是否是 _OutboundRequestState 在轮次间被 _fina

快速结论:在 vLLM 对称 P2P KV offload 模式下,若同一 kv_request_id 经历多次 lookup→fetch 轮次,consumer 可能因 producer 端状态被意外清空而等待 30 秒超时。优先排查是否是 _OutboundRequestState 在轮次间被 _finalize_outbound() 清空导致 supply 丢失。

适用环境:vLLM(版本接近 nightly-1240c74c 或更高,含 #49820 修复前);对称 P2P(symmetric P2P)模式;多节点部署。

最快修复方案:LookupMsgFetchMsg

参考来源

vllm-project/vllm #49820

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 15611

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注