快速结论:该问题出现在 Langfuse 实验对比(Experiment comparison)视图的分数列头部,头部聚合的 improvement/regression 计数与左侧 observation panel 相反;优先核对头部聚合逻辑,而不是怀疑底层打分数据。该问题已在 PR #17929 中修复。
适用环境:Langfuse v4.45.1;浏览器 Chrome 153.0.8010.53。Issue 未提供 Python、CUDA、显卡或依赖版本信息。
最快修复方案:升级到包含 PR #17929 的 Langfuse 版本,该 PR 已合并并修复此问题。
注意事项:Issue 正文未给出具体修改点,仅说明根因定位后由 PR #17929 修复;如果无法立即升级,可先以 observation panel 或下钻单个 trace 的数据为准。修复涉及的版本号、commit 或发布标签在 Issue 中没有明确说明,需自行确认所用版本是否包含该 PR。
问题场景
在 Langfuse 的 experiments comparison 视图中对比两次 experiment run(baseline 与 candidate)时,查看某个 metric(例如 Answer Relevancy、Faithfulness、Context Relevance、Check Correctness)的分数列。表格顶部的 header indicators 显示的 improved/regressed 计数与颜色,与左侧 observation panel 的计数相反。该问题影响 comparison 视图中的所有 metric,属于 header 聚合/显示逻辑的问题,不影响下钻后的单个 trace 数据。
报错原文
Bug: Experiment comparison header shows inverted improvement/regression counts
Observation panel (left sidebar): Shows correct counts
- Example: "Improved: 5, Regressed: 9, Unchanged: 31"
Header indicators: Appear to show opposite values
- The counts/colors seem swapped relative to the observation panel
原因分析
问题出在对比表格 header 的聚合/显示逻辑,而非底层打分数据。Issue 指出该问题与 PR #16917(重建 results grid 的 score column header)引入的逻辑相关,具体表现为 header 的 improved/regressed 计数与颜色相对 observation panel 被颠倒。下钻单个 trace 的实际变化与 observation panel 一致,说明数据本身正确,问题局限在 header 的统计或展示层。
环境排查
- 确认 Langfuse 版本,Issue 报告版本为 v4.45.1。
- 确认所用版本是否已包含 PR #17929 的修复。
- 确认浏览器版本,Issue 报告为 Chrome 153.0.8010.53。
- 确认对比的是同一组 experiment run 与同一 metric,避免不同筛选条件导致的误判。
- Issue 未提供 Python、CUDA、PyTorch、显卡或节点依赖版本,无需按这些项排查。
解决步骤
- 先确认当前 Langfuse 版本是否为 v4.45.1 或包含 PR #16917 的版本。
- 在出现计数不一致的 metric 上,对照查看 header indicators、左侧 observation panel 以及下钻后的单个 trace,确认差异模式是否为 improved/regressed 互换。
- 升级到包含 PR #17929 的 Langfuse 版本,该 PR 已针对此问题合并。
- 升级后重新打开 experiments comparison 视图,复现同一组 baseline vs candidate 对比。
验证方法
重新进入同一 experiments comparison 视图,检查 header 的 improved/regressed/unchanged 计数是否与左侧 observation panel 完全一致,并确认颜色指示与计数方向一致。再随机下钻几条 trace,确认 header 计数与单个 trace 的实际分数变化一致(例如 80→90 记为 improved,90→80 记为 regressed)。
参考来源
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


