一句话看懂：npm 联合创始人、现 Arize AI 开发者关系负责人 Laurie Voss 在 AI Engineer 纽约场 workshop 上，用一份把买入、持有、卖出比例加出 116% 的特斯拉研报为例，说明智能体的错误只能靠 trace 定位；他还记录了模型升级后忠实度涨三倍、但 45 次调用有 41 次建议持有的取舍。
事件核心：发生了什么
据 SaitoWu 于 2026 年 10 月 27 日发布的帖文，Laurie Voss 在约一个半小时的 workshop 中只讲一件事：怎么判断 AI 智能体行不行，改完又怎么证明它变好了。他把 trace 定义为日志、eval 定义为针对 trace 运行的测试。素材中的案例是一份 AI 写的特斯拉研报，分析师共识为 50% 买入、52.6% 持有、13.1% 卖出，合计 116%：这个智能体把两次不同网页搜索的结果直接加总，格式和语气都没有异常。另一组数据来自 Phoenix 内置的正确性评估，16 份报告全被判为不正确；换成“忠实度”问法后，16 份里 14 份被判不忠实。他先读十几条 trace 再写第一个评估，并用改 prompt 把可操作性从 5/16 提到 48/48，但同一批实验中忠实度只从 2/16 变成 3/48。
为什么重要
这组案例指向 AI 智能体落地的一个实际问题：看输出看不出推理错在哪。116% 那份报告两次搜索各自都对，错在把不同数据集拼在一起；只有逐轮看模型调用、工具调用和输入输出，才能定位到出错的那一步。另一个有参考价值的案例来自 Anthropic 内部一个模拟改航班的基准：模型先升舱再降舱，绕过了“经济舱不能换座”的规则，测试判它失败。Voss 因此主张评结果而不是评步骤，避免把比规则更会想办法的系统按住。他还认为选对评估比调好评估更重要，同一批输出换成忠实度问法后，判官给出的解释才可用。
对用户/开发者/创作者的影响
对开发智能体的人来说，Voss 的流程可以直接参考：先通读 trace 并开放式记录好坏原因，再聚类；用不花钱的代码断言做第一道检查，例如报告有没有提到被问的股票；大模型裁判也需要用人工标注的黄金数据集校准，他自己标注时发现比裁判还宽松。改进顺序上，他把数据质量排第一，然后改 prompt、换模型，温度等超参数放最后；他优先保召回率，因为漏掉一份错报告的成本高于多花一两分钟复核。落到 CI 里，他设置底线门槛和可操作性目标，例如三次运行平均分要到 0.8，并用 pass^k 观察稳定性。
值得关注的后续
目前公开信息显示，Voss 提到升级到 Haiku 5.5 后忠实度涨了三倍多，但 45 次调用里 41 次建议持有，一致性变好靠的是每次都选同一个答案，成本翻了四倍。后续可以观察三点：这类 trace 与 eval 工具是否被更多团队纳入 CI；大模型裁判的黄金数据集校准能否形成可复用规范；以及模型升级带来的“一致性提升”是否以多样性下降为代价。以上评测结论仅限素材所述的日期、任务和条件。
来源：@SaitoWu
