[RFC]: Streaming Derender for Disaggregated Serving

问题场景

使用 vLLM 的 disaggregated serving / scale-out 架构时，生产端 /inference/v1/generate 在 request.stream 为真时已返回 SSE StreamingResponse，每步携带 delta token IDs；但消费端要拿到 OpenAI 风格的 chat/completion 流式响应，就必须在 derender 侧做增量 detokenize 与 reasoning/tool 解析。若直接用批量 derender 端点（消费完整 GenerateResponse）或对每个 chunk 单独 decode，就会出现流式输出无法打通、空格/多字节字符异常、tool call 解析不完整等问题。

报错原文

[RFC]: Streaming Derender for Disaggregated Serving

a naive per chunk tokenizer.decode() produces wrong spacing and can split multi-byte characters (see #44620)

原因分析

可能原因：流式 derender 与批量 derender 的输入类型不同——前者消费 GenerateStreamResponse 的 delta，后者消费完整 GenerateResponse，因此不能作为批量端点上的一个普通参数复用之。其次，增量 detokenization 和 streaming parser 都是有状态的：IncrementalDetokenizer 依赖 prefix_offset/read_offset 与历史 token，逐块无状态 decode 会导致错误间距甚至把多字节字符切断。Issue 选择 Option A：服务端把更新后的状态随每个 chunk 返回，客户端在下一块原样回传，保持服务端无状态。

环境排查

• 确认生产端是否已使用 /inference/v1/generate 的流式路径，以及 stream / stream_options 是否从 /render 正确转发。
• 确认 derender 侧调用的是 /v1/chat/completions/derender 或 /v1/completions/derender 的 stream: true 模式，而不是批量端点。
• 确认请求携带 prompt_token_ids，且每个 chunk 只有一个 choice。
• 确认每个 chunk 都回传了上一块返回的 stream_state（含 output_token_ids、output_chunk_lens）。
• 确认 chat parser 已配置并能拿到 chat_request；使用 gpt-oss 等模型时确认已设置 --reasoning-parser。
• 确认 renderer_num_workers 取值是否与并发流量匹配，并核对所用 vLLM 版本是否包含 #57528。
• 检查 prompt + 历史 + delta 的 token 总量是否超过 max_model_len。

解决步骤

1. 按生产端 SSE 的 delta 粒度逐块调用流式 derender：输入为 DerenderChatStreamRequest 或 DerenderCompletionStreamRequest，输出为 { "chunk": ..., "stream_state": ... }，不要传入完整 GenerateResponse。
2. 服务端实现上使用增量 detokenizer 与增量 parser，不要对每个 chunk 直接调用 tokenizer.decode()；每块在全新 parser 上通过 parse_delta 重放，保持与 /v1/chat/completions 一致的 reasoning/content/tool_calls delta。
3. 保留生产端的 chunk 边界：DerenderStreamState 同时携带 output_chunk_lens，多 token 步（如 spec decode）在一次 parse_delta 调用中重放。
4. 客户端循环：每次把上一块返回的 stream_state 回传到下一块；n > 1 视为 N 条独立流；最终 usage chunk 由客户端自行发送。
5. 若对延迟敏感，可评估将 detokenization 与解析下放到 decode pool（#56851 方向），而不是在 render tier 上做重放；无状态消费方（RL、批量、自行做后处理的网关）则可继续使用流式 derender。
6. 可优先尝试：若流式 plain 路径在并发下被单个 worker 卡住，调大 renderer_num_workers，前提是版本已包含 #57528。

验证方法

用 test_derender_parity.py 风格的对拍验证：覆盖 plain、reasoning、tool、reasoning + tool 四类 chunked 路径，包含一个多 token chunk 和一个仅含 finish 的最终 chunk，比对流式 derender 输出与同一 token 序列在 /v1/chat/completions 下的 delta 是否一致。交互场景还可关注端到端 p50 延迟与 renderer worker 饱和度。

参考来源

vllm-project/vllm #47161

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。