一句话看懂：arXiv 新论文 FluidPD 针对大模型预填充—解码分离服务中的负载波动，提出不增加 GPU 的原地弹性机制，在 Azure 生产负载测试中报告 SLO 达标率最多提升 94.6 个百分点。
事件核心：发生了什么
2026 年 10 月 7 日提交至 arXiv cs.AI 的论文《FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving》提出一种面向大模型推理的服务系统。它针对当前常见的 P/D 分离架构——把预填充和解码拆到不同 worker 上——的一个实际问题：固定预填充/解码 worker 配比，遇到短时突发或持续需求比例偏移时，容易出现延迟 SLO 违规，即便集群别处还有空闲算力。
FluidPD 用两个机制应对：FluidToken 在解码侧有余量时，把有限的一部分预填充计算卸载过去，处理短时不平衡；FluidRole 则直接在运行中把 worker 重新分配为预填充或解码角色，避免重新加载模型和重启引擎，应对持续失衡。论文还引入轻量压力指标，在 SLO 违规前暴露两侧资源紧张程度。摘要称，在用 Azure 生产 trace 负载测试时，相比静态 SGLang 配置，整体 SLO 达标率最多提升 94.6 个百分点。
为什么重要
大模型推理的商业化越来越依赖稳定延迟，而 P/D 分离虽然把两个阶段的目标分开了，却也带来配比僵化问题。传统自动扩缩容能加机器，但反应慢、需要空闲 GPU，且不直接解决短时间尺度的阶段失衡。FluidPD 的价值在于把“弹性”从加节点前移到原地调整，不额外配置 worker 也能改善服务质量。如果后续实验可复现，这对云厂商和自建推理集群的成本效率都有现实意义。
对用户/开发者/创作者的影响
对使用 API 的开发者和 AI 应用团队而言，这类调度优化主要影响延迟稳定性和单价；若云厂商采纳类似机制，高峰期调用大模型时超时、排队可能减少。对自建推理服务的团队，FluidToken 和 FluidRole 的思路值得关注：不必只靠堆 GPU，也可以通过角色复用和跨阶段计算卸载提升利用率。对内容创作者来说，这属于基础设施层变化，短期不会改变产品功能，但可能让图像生成、对话、代码补全等在线服务的响应更平稳。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是论文目前仅公开摘要，完整实验设置、基线和复现条件尚待核验，94.6 个百分点的提升应限定在 Azure trace 与所测配置下理解。二是 FluidRole 在运行中切换 worker 角色，是否引入额外调度开销或故障风险，需要看全文。三是 SGLang、vLLM 等推理框架或云厂商是否会跟进类似原地弹性能力。
来源：arXiv cs.AI
