一句话看懂：arXiv 新论文在 vLLM 上用三个开源模型做压测发现，仅靠传播取消信号无法让过载后的 LLM 引擎恢复服务，重试请求本身会消耗大量预填算力；重试预算和请求合并是更有效的补充手段。
事件核心：发生了什么
2026 年 11 月 9 日上传到 arXiv 的这篇论文关注一个实际运维问题：LLM 引擎前面的客户端或代理会对超时调用重试，而瞬时过载后的重试可能让负载低于容量上限的引擎仍无法恢复。作者在 vLLM 上对三个开源模型做实验，并追踪其中一个模型的调度器记录，把客户端每次尝试对应到引擎内实际执行。结果显示：开启重试时，单靠取消在所有运行中都没有恢复服务，过载后到达的调用只有 12%-38% 被成功交付。
论文摘要给出的解释是：vLLM 执行的重试通常在超时前不到半秒才启动预填；随后被中止的执行占用了其已计算提示令牌的 79%-85%，而 vLLM 的提示令牌计数器漏计了全部已计算令牌的三分之一到一半。作者还测试了重试预算，服务恢复了，但代价是大量过载期间的调用未被交付；请求合并则在过载后交付了每个调用，部分延迟，前提是取消尚未中止正在运行的执行。需要说明的是，以上均基于摘要信息，实验细节和全文结论尚未核验。
为什么重要
大模型推理服务的稳定性不只取决于 GPU 算力，也取决于调度和客户端行为的配合。论文实际上提醒：取消请求、重试策略、请求合并这些看似外围的机制，会直接改变引擎内部预填和执行的分布。对使用 vLLM 部署开源模型的团队来说，如果只做取消传播而不控制重试，过载后的恢复时间可能被显著拉长；而只看交付率或只看引擎指标，都可能低估问题。
对用户/开发者/创作者的影响
对调用 LLM API 或自建推理服务的开发者，这篇摘要传递了两个可操作信号：第一，重试要有预算或上限，无差别指数退避重试可能在过载时放大引擎负担；第二，客户端或网关层可以考虑请求合并，把同一时段内的重复请求聚合成一次执行，减少无效预填。对依赖 AI 应用的用户和创作者，这类底层问题通常表现为高峰期响应变慢、超时增多，而不是模型能力变化。论文没有涉及商业闭源 API 的行为，目前公开信息显示其结论限于 vLLM 和三个开源模型。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
可以留意三点：vLLM 社区是否针对提示令牌计数偏差和取消后的执行浪费做修复；请求合并能否在更多推理框架和真实生产流量中复现交付率优势；以及云厂商和模型服务商是否会把重试预算、取消语义写入 API 或网关的默认配置。
来源：arXiv cs.AI
