[Bug]: DFLASH2 force reprocesses context every reply

问题场景

用户在 vLLM 中使用 DFlash2 草稿模型开启推测解码，并同时启用前缀缓存，进行多轮对话或重复请求。此时系统没有复用已有的上下文 KV cache，而是每次回复都重复 prefill 全部上下文。该问题会影响长 prompt、多轮对话的 TTFT（首 token 延迟）和有效吞吐；在部分硬件组合上还伴随 token 输出损坏。

报错原文

[Bug]: DFLASH2 force reprocesses context every reply

原因分析

根据 Issue 中的修复说明，问题可能出在 use_eagle_preserves_target_kv_cache() 的判断范围过宽：它把“丢弃最后一个 block 的前缀缓存”这一逻辑应用到了所有草稿模型上。对 eagle 系列来说这样做是合理的，因为该系列会写过这个 block；但 DFlash/DSpark 并没有写到这个 mamba block，却同样被要求回退，结果就是每一轮都无法命中前缀缓存，只能从头重新处理上下文。在 Intel Arc B70 环境下，这种缓存状态错位还会进一步导致 token 损坏。具体的触发边界尚未在 Issue 中完整披露。

环境排查

• 确认 vLLM 版本，检查是否已合入 #54163；可通过查看安装包版本和对应 commit 判断。
• 确认草稿模型类型是 DFlash2、DSpark 还是 eagle 系列，以及是否启用了推测解码。
• 确认前缀缓存已开启，并记录连续相同请求的前缀缓存命中数或查询计数，用来判断是否每隔一轮都未命中。
• 核对 PyTorch、CUDA、驱动版本与所用硬件的兼容性；原报告环境为 PyTorch 2.13.0+cu130、CUDA runtime 13.3.73、RTX 3090。
• 如果同时开启了张量并行（TP）或其他缓存相关开关，可先关闭非必要项再测，以免干扰判断。

解决步骤

1. 在当前环境中构造一个可重复的测例：连续发送两条完全相同的请求，记录两次的 TTFT 和前缀缓存命中计数。
2. 如果命中数为 0 或明显偏低，检查当前 vLLM 是否包含 #54163。
3. 可优先尝试：切换到包含 use_eagle_preserves_target_kv_cache() 修复的分支或发布版本，使最后 block 缓存丢弃仅作用于 eagle 系列草稿模型。
4. 在相同测例下重新运行，对比 TTFT 与命中计数的变化。
5. 若升级后仍可复现，按 Issue 建议单独反馈并附上复现脚本与 collect_env.py 输出，而不要直接假设该修复一定生效。

验证方法

使用相同的 prompt，连续发送两次请求。修复生效时，第二次请求应出现大量前缀缓存命中（Issue 中的验证数据为 0/12,552 → 4,608），TTFT 相应下降（3.9s → 1.55s），并且输出 token 不再出现损坏。如果命中计数仍为 0，或者每次回复仍触发完整 prefill，则说明问题未被解决。

参考来源

vllm-project/vllm #53477

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。