[Bug]: MooncakeStoreConnector stores invalid recurrent states with mamba_cache_mode=align, causing silent output corruption

问题场景

用户在 vLLM 中使用带循环状态（recurrent state）的模型，例如 GDN、Mamba1、Mamba2、ShortConv，同时启用了 MooncakeStoreConnector 外部前缀缓存且设置 mamba_cache_mode="align"。当长生产者请求在某个中间 token 边界未生成有效的循环状态快照（该边界对应 NULL_BLOCK_ID = 0）时，保存路径仍将该块映射为地址并发布 Store key；后续消费者请求命中该 key，跳过重算，最终导致输出静默错误，但 HTTP 状态仍为 200 且 Mooncake 报告 Put/Get 成功。

报错原文

[Bug]: MooncakeStoreConnector stores invalid recurrent states with mamba_cache_mode=align, causing silent output corruption

原因分析

可能原因是：在 mamba_cache_mode="align" 模式下，vLLM 会选择性地不物化某些逻辑状态边界的循环状态块，这些条目使用 NULL_BLOCK_ID = 0。正常 Mooncake Store 保存路径没有拒绝 null 块，而是将其解析为地址并发布对应 Store key。字节级检测显示 Mooncake 传输的字节与生产者端一致，无效的全零字节来自生产者侧选中的 NULL_BLOCK_ID 块，因此问题指向生产者保存路径发布了无效 key，而非 Mooncake 传输层数据损坏。

环境排查

• 确认 vLLM 版本是否已包含 PR #51362 的修复（检查是否跳过 NULL_BLOCK_ID 条目）。
• 确认模型类型是否为 recurrent-state 模型（GDN、Mamba1、Mamba2、ShortConv），以及是否为 hybrid 或纯循环状态模型。
• 确认 mamba_cache_mode 是否为 "align"。
• 确认 Mooncake Store 的 producer 端在发布稀疏 recurrent-state 块表时是否包含块 ID 为 0 的条目。
• 记录 vLLM commit、mooncake-transfer-engine、PyTorch、CUDA 和 transformers 版本，便于复现对比。
• 对于 mistralai/Mamba-Codestral-7B-v0.1 需确认使用 --load-format safetensors。

解决步骤

1. 将 vLLM 升级到包含 PR #51362 的版本，该 PR 已在 Issue 中被标记为 merged。
2. 如果无法升级，可优先尝试修改配置：设置 mamba_cache_mode 为非 "align" 模式（该结论为推测，未经 Issue 验证）。
3. 另一可优先尝试的临时规避：关闭 MooncakeStoreConnector 外部前缀缓存，观察问题是否消失（推测性措施）。
4. 升级后重新运行复现脚本，使用 Issue 中给出的模型配置（如 state-spaces/mamba-130m-hf，producer repeats=1000，consumer repeats=1000，TP=2），验证无效 Store hit 是否被阻止。
5. 如果问题仍复现，检查生产者保存路径的 sparse recurrent-state 块表中是否存在 NULL_BLOCK_ID 条目被发布，并在 vLLM 仓库中提交新的 Issue。

验证方法

升级到包含 PR #51362 的 vLLM 后，使用原始复现命令（例如最小模型 state-spaces/mamba-130m-hf，TP=2，重复次数 1000）对比冷启动基线：生成 token 和 logprobs 应与基线一致，不再出现无效 Store hit（如表中 3024/2960/2112 等边界）。同时检查 Mooncake Store 日志，确认不再发布对应 NULL_BLOCK_ID 边界的 key；消费者的 prefix cache 命中行为应回退到未启用外部缓存时的结果。

参考来源

vllm-project/vllm #53084

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。