一句话看懂：alphaXiv 上公开的一篇论文提出 ReplaySSM，把 SSM 的循环状态改写成“检查点+近期输入缓冲”，在 vLLM 上实现 Mamba-2 与 Gated DeltaNet 的解码加速，最高约 1.47 倍，并让投机解码的驳回只动指针、不恢复状态。
事件核心：发生了什么
据 alphaXiv 论文页面（发布时间 2026-10-09），作者 Ze-Wei Liou 等人提出 ReplaySSM。传统 SSM 解码每一步都要读取并写回一个固定大小的循环状态，状态 I/O 大、算术强度低；ReplaySSM 把状态拆成“一个检查点 + 最近 SSM 输入的缓冲区”，平时只追加输入、由检查点和缓冲共同算输出，攒够一批再把缓冲折叠进新检查点。
论文给出的关键数据：在 batch size 256、replay window 16、FP32 SSM 状态的设置下，针对四个混合模型，整模型每步解码延迟相比调优后的 vLLM 基线提升 1.20–1.47 倍，SSM 内核本身提速 1.46–1.80 倍；在 Nemotron-3-Super-120B-A12B 上，batch size 512 时吞吐约为 vLLM 投机解码的 1.85 倍。作者称实现位于 vLLM，覆盖 Mamba-2 和 Gated DeltaNet。
为什么重要
长上下文和推理类任务让解码成本越来越受关注，SSM 与混合模型正是为压缩历史而设计，但“固定大小状态”并不等于解码免费。ReplaySSM 的切入点不是改模型结构，而是改解码时的记账方式：把写状态从几乎每步一次降为每个窗口一次，读写总量因此约减半。这对 vLLM 这类推理引擎的意义在于，它把 SSM 的状态管理和投机解码的回滚机制统一到了缓冲指针上，为混合架构的工程优化提供了新方向。
目前公开信息显示，论文强调的是状态写入流量和回滚成本的下降，而不是精度或吞吐的全面碾压；收益增长与 batch size 相关，batch size 为 1 时端到端只有几个百分点的提升。
对用户/开发者/创作者的影响
对使用 vLLM 部署 Mamba-2、Gated DeltaNet 等混合模型的开发者，这篇论文提示了一个可关注的优化点：在高并发、长上下文场景中，SSM 状态读写可能仍是瓶颈。若相关实现后续进入上游或稳定分支，推理服务的显存带宽压力和投机解码回滚开销有望下降，单位算力可承载的 token 吞吐也会改善。对模型侧团队，ReplaySSM 还允许低精度检查点负责多数步的输出、高精度检查点负责循环更新，论文称这能降低输出 KL 散度与下游精度损失，但需注意这是论文实验结论，尚未等同于已上线的产品能力。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 ReplaySSM 是否被合入 vLLM 主线或形成独立推理后端，以及支持哪些 SSM 与混合模型。二是论文结果依赖 batch size 256/512、FP32 状态、window 16 等条件，实际生产中的显存、延迟与吞吐表现仍需复现。三是低精度检查点与高精度更新分离的精度收益，是否能在更大规模模型和更广泛任务上稳定成立。
来源：alphaXiv
