Python gradio_client: when submitting asynchronous jobs too rapidly to a batch server, some never report completed

快速结论：当你用 gradio_client 的 client.submit() 极快地批量提交异步任务给开启了 batch 队列的服务端时，会触发客户端竞态条件，表现为任务在服务端已被处理，但客户端 job.done() 永远不返回 True。优先排查方向是减少提交频率（在循环中插入短暂延迟），这是目前最直接的规避手段。

适用环境：Issue 中确认的环境是 macOS（Darwin），Gradio 服务端版本为 5.6.0 和 6.22.0（main 分支），gradio_client 版本为 1.4.3。服务端使用了 batch=True 且设置 max_batch_size=16 的 Interface，并启用了 queue()。

最快修复方案：暂无确认的一步修复方案。Issue 讨论中并未给出经过验证的代码级修复补丁，但确认了这是一个客户端竞态条件。可优先尝试在提交循环中人为添加延迟（例如每次 submit() 后 time.sleep(0.05~0.1)），以降低触发竞态的窗口，但需注意这会降低提交吞吐量。

注意事项：该方案只是规避手段，官方在 main 分支（6.22.0）上仍可复现，说明此问题在最新开发版中尚未被修复。不同运行次数下卡住的任务数量并不固定（Issue 中观察到 25 和 44 两种不同的停滞数量），说明这是典型的竞争条件，没有确定的触发阈值。

问题场景

用户运行一个本地 Gradio 服务端（server.py），该服务端定义了一个支持批处理的 echo 函数（batch=True，max_batch_size=16）。随后用 Python 的 gradio_client（loadtest.py）以极快速度连续提交 100 个异步任务。问题表现为客户端脚本长时间卡在等待状态，部分任务虽然服务端已经处理完成（日志显示 “Total items” 计数在不断增长），但对应的 job.done() 始终返回 False，导致客户端永远无法退出等待循环。

报错原文

Python gradio_client: when submitting asynchronous jobs too rapidly to a batch server, some never report completed

# 客户端状态输出示例
0 jobs completed
0 jobs completed
0 jobs completed

# 服务端日志示例（服务端已处理，但客户端未感知）
Batch size: 16 | Total items: 31
Batch size: 9 | Total items: 40

# 二次验证时的最终输出
25/100 jobs completed
FINAL: 25/100

原因分析

最可能的原因是客户端在快速连续调用 submit() 时存在竞态条件。Issue 作者和复现者都确认随着系统负载不同，卡住的任务数量会变化（分别出现 25、44、40 等不同停滞点），这符合典型 race condition 特征。具体而言，可能是客户端内部维护的任务 ID 或 WebSocket 连接状态在快速提交场景下出现错乱，导致服务端完成的事件未能正确匹配回对应的 Job 对象。Issue 中复现者明确提到服务端实际处理了 65 个 item（计数器从 44 增长到 109），但客户端只有 25 个任务报告完成，说明数据并未丢失，只是在客户端到服务端的回传确认环节出了问题。

环境排查

确认 gradio 服务端版本：Issue 中验证了 5.6.0 和 6.22.0（main 分支 commit bf3b4e39c）均可复现。
确认 gradio_client 版本：Issue 中为 1.4.3，但注意复现者使用的是与 main 分支同步构建的客户端。
确认服务端配置：必须使用 batch=True 和 max_batch_size=16，并调用 .queue() 启用队列。Issue 中没有单独验证非 batch 模式是否触发此问题。
确认操作系统：当前证据仅覆盖 macOS（Darwin），未在 Linux 或 Windows 上验证。
检查依赖版本：Issue 中列出的 httpx 0.27.2、websockets 12.0、fastapi 0.115.5 等均为环境信息，不一定是触发因素，但如需完整复现可参考。

解决步骤

先确认问题可复现：按 Issue 中的 server.py 和 loadtest.py 原样搭建环境，确认是否出现卡住且任务完成数不增长的情况。
尝试降低提交速度（可优先尝试）：在 loadtest.py 的提交循环中，在每次 client.submit() 后加入 time.sleep(0.05) 或更长的延迟，观察 done() 是否恢复为正增长。这是 Issue 讨论中隐含的最直接规避方式，但尚未被明确验证为 100% 有效。
改用同步提交方式验证：将 client.submit() 改为 client.predict()（同步阻塞调用）逐条提交，确认是否能正常完成。这可以帮你判断问题是否局限于异步提交路径。
分批提交代替一次性提交：不要一口气循环提交 100 个任务，改为每提交 5~10 个任务后等待这些任务完成，再提交下一批，以降低并发压力。
检查服务端日志确认任务确实被处理：观察服务端输出的 “Batch size” 和 “Total items” 计数是否持续增长。如果服务端计数增长但客户端 done() 不增长，说明是客户端回传确认问题，而非服务端拒绝处理。

验证方法

修改 loadtest.py 后重新运行，观察最终输出是否能达到 100/100 jobs completed 或接近该值。验证标准是客户端最终退出等待循环，且 FINAL 行输出的完成数量等于 COUNT。如果加入延迟后完成数量稳定增长至全部完成，说明规避措施有效。若仍然卡住，请记录停滞时的完成数量，对比服务端 “Total items” 计数，确认服务端已处理但客户端未收到完成通知。