标签: 算力

FluidPD 提出 P/D 解耦就地弹性方案,Azure 生产负载 SLO 最多提升 94.6 个百分点

FluidPD 提出 P/D 解耦就地弹性方案,Azure 生产负载 SLO 最多提升 94.6 个百分点

arXiv 新论文 FluidPD 提出一种面向 SLO 的预填充-解码解耦服务方案,通过让预填充与解码任务动态借用资源、就地换角色,在 Azure 生产负载上把 SLO 达成率较静态 SGLang 最多提升 94.6 个百分点。它值得关注,因为它试图解决大模型推理中“忙闲不均却无法临时调配”的老问题。