Bug: Experiment comparison header shows inverted improvement/regression counts

该问题出现在 Langfuse 实验对比(Experiment comparison)视图的分数列头部,头部聚合的 improvement/regression 计数与左侧 observation panel 相反;优先核对头部聚合逻辑,而不是怀疑底层打分数据。该问题已在 PR #17929 中修复

快速结论:该问题出现在 Langfuse 实验对比(Experiment comparison)视图的分数列头部,头部聚合的 improvement/regression 计数与左侧 observation panel 相反;优先核对头部聚合逻辑,而不是怀疑底层打分数据。该问题已在 PR #17929 中修复。

适用环境:Langfuse v4.45.1;浏览器 Chrome 153.0.8010.53。Issue 未提供 Python、CUDA、显卡或依赖版本信息。

最快修复方案:升级到包含 PR #17929 的 Langfuse 版本,该 PR 已合并并修复此问题。

注意事项:Issue 正文未给出具体修改点,仅说明根因定位后由 PR #17929 修复;如果无法立即升级,可先以 observation panel 或下钻单个 trace 的数据为准。修复涉及的版本号、commit 或发布标签在 Issue 中没有明确说明,需自行确认所用版本是否包含该 PR。

问题场景

在 Langfuse 的 experiments comparison 视图中对比两次 experiment run(baseline 与 candidate)时,查看某个 metric(例如 Answer Relevancy、Faithfulness、Context Relevance、Check Correctness)的分数列。表格顶部的 header indicators 显示的 improved/regressed 计数与颜色,与左侧 observation panel 的计数相反。该问题影响 comparison 视图中的所有 metric,属于 header 聚合/显示逻辑的问题,不影响下钻后的单个 trace 数据。

报错原文

Bug: Experiment comparison header shows inverted improvement/regression counts

Observation panel (left sidebar): Shows correct counts
- Example: "Improved: 5, Regressed: 9, Unchanged: 31"

Header indicators: Appear to show opposite values
- The counts/colors seem swapped relative to the observation panel

原因分析

问题出在对比表格 header 的聚合/显示逻辑,而非底层打分数据。Issue 指出该问题与 PR #16917(重建 results grid 的 score column header)引入的逻辑相关,具体表现为 header 的 improved/regressed 计数与颜色相对 observation panel 被颠倒。下钻单个 trace 的实际变化与 observation panel 一致,说明数据本身正确,问题局限在 header 的统计或展示层。

环境排查

  • 确认 Langfuse 版本,Issue 报告版本为 v4.45.1。
  • 确认所用版本是否已包含 PR #17929 的修复。
  • 确认浏览器版本,Issue 报告为 Chrome 153.0.8010.53。
  • 确认对比的是同一组 experiment run 与同一 metric,避免不同筛选条件导致的误判。
  • Issue 未提供 Python、CUDA、PyTorch、显卡或节点依赖版本,无需按这些项排查。

解决步骤

  1. 先确认当前 Langfuse 版本是否为 v4.45.1 或包含 PR #16917 的版本。
  2. 在出现计数不一致的 metric 上,对照查看 header indicators、左侧 observation panel 以及下钻后的单个 trace,确认差异模式是否为 improved/regressed 互换。
  3. 升级到包含 PR #17929 的 Langfuse 版本,该 PR 已针对此问题合并。
  4. 升级后重新打开 experiments comparison 视图,复现同一组 baseline vs candidate 对比。

验证方法

重新进入同一 experiments comparison 视图,检查 header 的 improved/regressed/unchanged 计数是否与左侧 observation panel 完全一致,并确认颜色指示与计数方向一致。再随机下钻几条 trace,确认 header 计数与单个 trace 的实际分数变化一致(例如 80→90 记为 improved,90→80 记为 regressed)。

参考来源

langfuse/langfuse #17909

langfuse/langfuse PR #17929

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 29200

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注