bug: Worker S3 downloads fail with `ECONNRESET: socket hang up` on v3.225.11 (stale keep-alive sockets); not seen on v3.171.0

这个报错通常发生在自托管 Langfuse worker 从 S3 批量拉取 trace 事件文件时:连接池中已被 S3 关闭的 keep-alive 空闲 socket 被复用,触发 `ECONNRESET: socket hang up`,且往往在 `Promise.all` 内同毫秒批量爆发。

快速结论:这个报错通常发生在自托管 Langfuse worker 从 S3 批量拉取 trace 事件文件时:连接池中已被 S3 关闭的 keep-alive 空闲 socket 被复用,触发 `ECONNRESET: socket hang up`,且往往在 `Promise.all` 内同毫秒批量爆发。优先排查 worker 镜像版本、S3 客户端 https agent 的 keep-alive 配置以及 Node / AWS SDK 版本变化。

适用环境:AWS ECS Fargate 自托管 Langfuse worker,S3 事件桶与 worker 同区域(经 gateway VPC endpoint 访问);已确认受影响的组合为 Langfuse v3.225.11(arm64 / x64,Node 24.21.0)和 v4 `main` 分支(`StorageService.ts` 中 `createS3RequestHandler` 同样为 `httpsAgent: { maxSockets }` 且无空闲超时);对照版本 v3.171.0(x64,Node 24.15.0)未出现该问题;三组测试均使用 `@smithy/node-http-handler` 4.5.1,`@aws-sdk/client-s3` 版本从 3.1024 变为 3.1074。问题与 CPU 架构无关,Issue 未提供 Python / CUDA / 显卡相关信息。

最快修复方案:暂无确认的一步修复方案(Issue 中修复候选未合并发布)。Issue 验证过的临时规避是:将 worker 固定回 v3.171.0(实测 `ECONNRESET` 为 0);另一个仅在独立复现脚本中验证有效的候选是改用 `new https.Agent({ keepAlive: true, maxSockets, timeout: 2000 })` 或 `new https.Agent({ keepAlive: false, maxSockets })`。

注意事项:v3 已进入仅回传关键修复阶段,维护者认为该问题不满足条件;升级 v4 本身并不能消除问题,因为 `main` 上的 S3 客户端构建方式与 v3 相同。agent 的 `timeout` 必须明显小于服务端空闲断开时间,等于服务端空闲上限时仍会复现;且该 `timeout` 是 socket 不活动超时,是否会影响较慢的在途读取尚未被测试。改用 `keepAlive: false` 会失去连接复用,复现脚本中平均突发延迟从 863 ms 升至 1,328 ms。

问题场景

用户在 ECS Fargate 上自托管 Langfuse worker,配置 `LANGFUSE_S3_CONCURRENT_READS=200`、`LANGFUSE_S3_CONCURRENT_WRITES=200`。worker 升级到 v3.225.11 后,在 `ingestionQueue.ts` 中通过 `Promise.all` 并行下载同一 trace 的多个事件文件时频繁出现 S3 下载失败,同一毫秒内数十个请求同时报错。`Failed to download file from S3 events/… socket hang up` 从约 10 次/小时升至 1,400–4,500 次/小时,`Failed job ingestion processing` 从 0–4 次/小时升至 12–39 次/小时;多数请求在任务重试时恢复。

报错原文

Failed to download file from S3 events/... socket hang up
Error: socket hang up
    at TLSSocket.socketOnEnd (node:_http_client:790:25)

原因分析

最可能的原因是 https agent 连接池中的 keep-alive 空闲 socket 被复用,而 S3 侧已经把这些连接静默关闭,导致请求在复用瞬间收到 RST。由于下载是同一 trace 内多文件并行发起,这些失效 socket 往往被同毫秒内的一批请求同时命中,表现为突发性报错。

Issue 的隔离脚本显示该现象与架构无关(arm64 / x64 均复现),且只在 3.225.11 出现、3.171.0 为 0。作者尚未确定两个镜像之间究竟是 Node 24.15 → 24.21 还是 `@aws-sdk/client-s3` 3.1024 → 3.1074 触发了竞态;评论者的本地复现表明,在相同 `@smithy/node-http-handler` 4.5.1 下,Node 24.15.0、24.21.0、25.6.1 配合当前 `{ maxSockets }` 配置均会出现重置,说明问题更接近客户端连接池与无空闲提示的 S3 之间的固有竞态,而非单一 Node 版本的回归。评论者还指出,Node 自带 HTTP server 会发送 `Keep-Alive: timeout=N` 提示并被客户端遵守,因此对 Node 测试服务器无法复现;S3 不发送该提示。

环境排查

  • 确认 worker 镜像版本:是否从 3.171.0 升级到 3.225.11 或更高,是否运行在 v4 `main` 构建上。
  • 确认 `StorageService.ts` / `createS3RequestHandler` 中 https agent 的构造方式,是否仍为 `httpsAgent: { maxSockets }` 且没有设置空闲 socket 超时。
  • 确认 Node 运行时版本(Issue 中对照为 24.15.0 与 24.21.0,复现还涉及 25.6.1)。
  • 确认 `@aws-sdk/client-s3` 版本(Issue 中为 3.1024 与 3.1074)以及 `@smithy/node-http-handler` 版本(两侧均为 4.5.1)。
  • 确认 `LANGFUSE_S3_CONCURRENT_READS` / `LANGFUSE_S3_CONCURRENT_WRITES` 的取值,高并发会放大批量复用失效 socket 的概率。
  • 确认 S3 访问路径(同区域 gateway VPC endpoint)以及失败是否集中在 worker 升级后出现。
  • 检查单位时间内 `Failed to download file from S3 … socket hang up` 与 `Failed job ingestion processing` 是否同步上升。

解决步骤

  1. 先收集基线:统计当前 worker 镜像下 `socket hang up` 的每小时次数与 `Failed job ingestion processing` 次数,留作对比。
  2. 若线上影响较大,可优先尝试将 worker 镜像固定回 v3.171.0——Issue 中该版本实测 `ECONNRESET` 为 0,是目前风险最低的临时止损手段,但需接受无法获得 v3 后续改进的限制。
  3. 评估升级 v4:维护者建议升级 v4,但评论者确认 v4 `main` 上的 S3 客户端构建方式与 v3 相同,升级本身不会自动消除该问题;升级前需先确认目标版本是否已调整 agent 空闲超时。
  4. 如需在自建镜像中验证修复,可优先尝试修改 `createS3RequestHandler` 中的 https agent 构造:在保留 `maxSockets` 的同时增加 `timeout`(Issue 复现脚本使用 2000 ms),或将 agent 改为 `new https.Agent({ keepAlive: false, maxSockets })`。此步骤仅在独立复现脚本中验证,未进入官方发布,属于自行打补丁。
  5. 调节 `timeout` 时应取明显小于 S3 侧空闲断开的时长;评论者反馈当 `timeout` 等于服务端空闲上限时仍会出现竞争。
  6. 发布补丁后,用与 worker 相同的任务角色、网络和下载模式做长时间压测,分别记录成功数、`ECONNRESET` 数和平均突发延迟。
  7. 若社区或维护者接受,可关注是否出现通过环境变量(评论中提议如 `LANGFUSE_S3_SOCKET_IDLE_TIMEOUT_MS`)配置空闲超时的正式修复;Issue 已因 30 天无活动被标记为 stale,当前讨论未给出已合并方案。

验证方法

在目标镜像上重跑与 `ingestionQueue.ts` 相同模式的压测(并行 `GetObjectCommand` 下载同一 trace 的事件文件、随机空闲后重复、多路并发、持续 10 分钟以上),确认 `ECONNRESET` 计数降为零或接近零,同时吞吐(成功请求数)与平均突发延迟没有明显恶化;线上则观察 `Failed to download file from S3 … socket hang up` 与 `Failed job ingestion processing` 的小时计数是否回落到基线水平。

参考来源

langfuse/langfuse #18834

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 36314

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注