bug: PostHog integration export overwhelms target instance with unbounded burst (18k events/sec observed)
快速结论：该报错通常发生在 Langfuse 自托管环境的 PostHog 集成执行首次全量同步或重同步时，因并行导出无节流控制导致目标 PostHog 实例被突发流量压垮。优先排查 handlePostHogIntegrationProjectJob 中 Promise.all() 并行执行流是否已改为串行，以及是否存在可配置的 flush 延迟。
问题场景
用户在使用 Langfuse 自托管部署（langfuse/langfuse-worker:3.124.1 或当前 main 分支），且启用了 PostHog 集成。当项目积累了超过 10 万条 traces 或首次配置 PostHog 集成时，每小时 :30 的同步任务会触发突发流量。观察到的现象是在 103 秒内发送了 1,857,712 条事件（约 18,000 events/s），导致 PostHog 实例产生 $$client_ingestion_warning 事件，提示速率限制，并可能造成静默丢包。
报错原文
2026-03-24T15:30:00.084Z Executing PostHog Integration Job
2026-03-24T15:30:12.107Z Sent 10000 traces
2026-03-24T15:30:12.442Z Sent 10000 generations
...
2026-03-24T15:31:36.945Z Sent 847152 traces
2026-03-24T15:31:43.543Z Sent 955620 generations
2026-03-24T15:30:19.764Z Sent 54940 scores
2026-03-24T15:31:43.555Z PostHog integration processing complete
PostHog shows $$client_ingestion_warning events with message:
"posthog-js client rate limited. Config is set to 10 events per second and 100 events burst limit."原因分析
根因在于 worker/src/features/posthog/handlePostHogIntegrationProjectJob.ts 中的设计缺陷：
- 并行执行：所有导出流（traces, generations, scores, events）通过
Promise.all()并发运行，创建 2-4 个独立的posthog-node客户端，每个客户端独立发送 HTTP 请求。 - 无节流延迟：每次
await posthog.flush()后（每 10k 条事件），下一个批次立即开始，没有等待时间。 - 突发配置：
flushAt: 1000使得每个 HTTP 请求包含 1000 条事件，且无反压机制。 - 无界查询：首次同步或重同步时（
lastSyncAt = null，默认退化为2000-01-01），ClickHouse 查询返回整个项目历史，无记录数限制。 - 多个客户端实例：每个
processPostHog*函数都创建独立的new PostHog(...)，导致并发连接数成倍增加。
现有的 BullMQ 限制器（max: 1, duration: 10_000）仅在项目之间节流，而非单个项目内部的导出。
环境排查
- Langfuse 版本：
langfuse/langfuse-worker:3.124.1或更新版本（待确认修复是否合入） - PostHog 实例类型：自托管或云实例，检查其速率限制配置
- 检查
worker/src/features/posthog/handlePostHogIntegrationProjectJob.ts中是否仍使用Promise.all() - 确认
LANGFUSE_POSTHOG_FLUSH_DELAY_MS环境变量是否已设置（修复建议中提及，但 Issue 尚未合并） - 项目历史数据量：确认是否首次同步或重同步导致全量数据导出
解决步骤
- （可优先尝试）修改导出流为串行执行：将
Promise.all(processPromises)改为 sequential 方式，减少并发 HTTP 负载。例如使用for...of循环依次处理 traces、generations、scores、events。 - （可优先尝试）添加 flush 后延迟：在每次
await posthog.flush()后添加可配置的延迟（例如通过LANGFUSE_POSTHOG_FLUSH_DELAY_MS环境变量，默认 500ms）。这给目标 PostHog 实例处理时间。 - 重用 PostHog 客户端实例：避免每个导出流创建独立的
new PostHog(...)，改为在作业级别创建单个客户端并共享。 - 限制全量导出范围：如果涉及首次同步或重同步，考虑在 ClickHouse 查询中加入记录数上限，或分批处理历史数据。
注意：上述修改为 Issue 中建议的修复方向，尚未合入。变动向后兼容，不影响数据格式或导出正确性，且同样适用于 Mixpanel 集成（其使用相同模式）。
验证方法
进行步骤 1-3 的修改后，在测试环境模拟首次同步（清空 lastSyncAt 或设置大量历史数据），观察 worker 日志：
- 确认事件发送速率不再突发，日志中每个导出流按顺序处理，且有间隔时间。
- 在 PostHog Data Management → Ingestion Warnings 中检查无新增
$$client_ingestion_warning速率限制事件。 - 对比修改前后的发送时间和总量：正常模式（约 1200 事件，6 秒完成）和全量同步模式应不再出现 103 秒发送 180 万事件的情况。
