标签： LLM

当你在 vLLM 上以 stream: true 调用 OpenAI 兼容的 Responses API（ /v1/responses ）并触发函数调用时，流式事件里的 response.output_item.added / response.output_item.done 与终止事件 resp

这个报错通常出现在 vLLM 用 H100 等 Hopper 显卡加载 GLM5.3-Flash 并启用 --kv-cache-dtype fp8 时，MLA 的 KV Cache 实际收到了 torch.uint8 ，而当前支持的 dtype 只有 torch.float16 、 torch.bf

这是一个 Kimi K3 模型支持的 GitHub Tracking Issue，并非单点故障报告。用户通常在 vLLM 加载 Kimi K3 权重、运行并发推理或启用特定并行/投机解码配置时遇到崩溃或加载差异。优先排查方向是确认自己使用的 vLLM 分支/PR 是否已合入对应子任务（如 DCP、F

这个报错通常出现在把较新版本的 vLLM 测试文件（例如 v0.30.0 的 tests/v1/simple_kv_offload/test_scheduler.py ）跑到旧版 vLLM 安装树上时，本质是测试代码与运行库的 API 版本不匹配，而不是 SimpleCPUOffloadConnec