快速结论:这是 Langfuse 自托管实例从 3.96.2 升级到 3.224.1 时,新版 web 容器启动阶段执行 ClickHouse 迁移失败、进入 CrashLoopBackOff 的典型场景。优先排查 ClickHouse 迁移状态(是否出现 Dirty Database Version 25 / “Fix and Force Version”)以及迁移过程中执行的查询是否超时或异常。
适用环境:Langfuse 自托管,部署在 EKS 集群;升级前 web 镜像版本 3.96.2,目标版本 3.224.1;ClickHouse Pod 版本 25.11.1(Issue 中未提供 Python、CUDA、PyTorch、显卡等环境信息)。
最快修复方案:暂无确认的一步修复方案。Issue 中维护者给出的处理入口是 Langfuse FAQ 的“ClickHouse 处理失败迁移”文档,同时需要获取新版 web 容器首次启动的日志,或扫描 ClickHouse 的 system.query_log 中非 QueryStart/QueryFinish 的异常记录来定位失败查询。
注意事项:FAQ 中未给出逐张表检查、回滚迁移的具体步骤;Issue 中也未确认某条命令或某一修复操作能解决该问题。直接对 ClickHouse 强制修复迁移版本存在数据或迁移状态风险,建议先保留完整日志与故障查询记录再操作。
问题场景
用户将一个已运行近一年的 Langfuse 自托管实例从 web 镜像 3.96.2 升级到 3.224.1。升级后,worker Pod 正常启动,但 web Pod 进入 CrashLoopBackOff,日志提示 ClickHouse 迁移应用失败。用户在本地集群以 3.96.2 部署后切换到 3.224.1 镜像可复现该问题。
报错原文
bug: Unable to Upgrade from 3.96.2 web image version to 3.224.1
Applying Clickhouse Migration Failed.
Dirty Database Version 25. Fix and Force Version.
Applying Clickhouse Migrations Failed.
排查时尝试查询 query_log 得到的报错:
Code: 60. DB::Exception: Unknown table expression identifier 'query_log' in scope SELECT * FROM query_log. (UNKNOWN_TABLE)
改查 system.query_log 后,发现一条对 default.observations 全表查询的异常记录:
type: ExceptionWhileProcessing
current_database: default
query: SELECT * FROM default.observations;
query_duration_ms: 39165
exception_code: 735
原因分析
根据 web Pod 日志,“Dirty Database Version 25. Fix and Force Version”说明 ClickHouse 迁移表记录的状态与实际迁移不一致,或某次迁移执行中断后被标记为 dirty,导致后续迁移无法继续应用。新版 web 容器启动时执行迁移失败,因此反复重启并进入 CrashLoopBackOff。
从 system.query_log 中的异常记录看,迁移期间存在一条对 default.observations 的全量 SELECT * 查询,读取约 353 万行、耗时约 39 秒后以异常结束。可能原因是该查询在迁移过程中超时或内存压力过大而中断,使迁移处于不完整状态;但 Issue 中并未最终确认具体失败 SQL 与根因。
另外,用户最初查询的 query_log 表不存在(UNKNOWN_TABLE),需要改查 system.query_log 才能看到异常记录,这属于排查路径问题,不是迁移失败本身的直接原因。
环境排查
- 确认当前 web 镜像版本(升级前 3.96.2,目标 3.224.1)以及是否已回滚。
- 确认 ClickHouse 版本,Issue 中为 25.11.1,跨版本升级时需关注兼容性。
- 获取新版 web 容器“首次启动”时的完整日志,而不仅是 crashloop 后的重复日志。
- 查询 ClickHouse
system.query_log中type NOT IN ('QueryStart', 'QueryFinish')的记录,关注迁移期间的异常查询、异常码和耗时。 - 检查 ClickHouse 迁移状态表(dirty version 提示指向版本 25 的迁移记录),确认是否有中断或未完成的迁移。
- 检查 ClickHouse 资源(内存、查询超时)是否足以支撑迁移中的大表查询。
解决步骤
- 先保留现场:导出新版 web 容器首次启动日志,以及 ClickHouse
system.query_log中的异常记录,便于判断具体失败的迁移查询。 - 按维护者指引查阅 Langfuse FAQ 中关于自托管 ClickHouse 迁移失败的处理文档:self-hosting-clickhouse-handling-failed-migrations,按其说明处理 dirty 迁移状态。
- 如需自行排查查询记录,使用
system.query_log而不是query_log,筛选非 QueryStart/QueryFinish 类型的记录,定位失败语句、异常码和执行时长。 - 针对定位到的失败查询,评估是否由超时或资源不足导致;可优先尝试在不改动数据的前提下排除资源与超时因素后重新触发迁移,但该做法在 Issue 中未被验证。
- 任何强制修复迁移版本(Fix and Force Version)的操作前,先做好 ClickHouse 数据备份,并在测试环境验证迁移流程。
验证方法
升级后确认 web Pod 不再进入 CrashLoopBackOff,启动日志中不再出现 “Applying Clickhouse Migration Failed” 与 “Dirty Database Version 25”,且 ClickHouse system.query_log 中迁移期间不再出现新的 ExceptionWhileProcessing 记录。随后确认 Langfuse Web 界面可正常访问、数据可正常写入与查询。
参考来源
Langfuse FAQ: Self-hosting ClickHouse handling failed migrations
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


![[Bug]: OpenSearch document engine drops the memory keyword filter and zeroes tag rerank weights (ES parity)](https://www.chat-gpts.plus/wp-content/uploads/2026/11/22250-0bdb5beb-768x403.jpg)