新基准 FinDendro 揭示：大模型自报知识边界不可靠，金融回测需行为测量

一句话看懂：一项新基准 FinDendro 发现，多数前沿大模型在金融回测中会低估自己已知的历史事实，自报知识、声明日期和厂商截止日期都不能可靠防止回测数据泄漏。

事件核心：发生了什么

据 Hugging Face Papers 收录的论文摘要，研究者提出名为 FinDendro 的基准，包含 1999 年至 2026 年的 2,226 条带日期的美国事实，覆盖月度宏观经济序列、月末股价和美联储决议。每条事实生成四类提示，用于检验模型自报知识是否可信。摘要称，在控制持久性和主导结果后，随机准确率约为 0.27。结果显示，对多数前沿模型而言，自我报告会低估已知信息：GPT-5 在受控事实上答对 76%，却声称只知道 38%，并且在它表示不知道的事实中答对 61%。知识声明还可能超出实测知识边界，最多延伸七个季度；声明历史日期会消除大部分“此前已知”的宣称，但准确率不变。

为什么重要

金融回测只有在模型未预先知道待预测结果时才有意义。业界常用三种防护：信任厂商声明的知识截止日期、直接询问模型知道什么、或要求模型以过去某个日期作答。该摘要的结论是，这三种方式都无法证明训练窗口内的回测不存在数据泄漏。这直接关系到用大模型做量化研究、策略验证和金融内容生成的可信度：研究者不能仅凭模型自述或指令约束来划定回测区间，而需要行为测量。目前公开信息显示，该基准提供了选择回测期的流程和依据。

对用户/开发者/创作者的影响

对开发者而言，这意味着在构建金融问答、回测或投研类 AI 应用时，不能把模型“我不知道”当作可靠的安全信号，也不应把声明日期当作硬性知识隔离手段。更稳妥的做法是记录模型在具体日期事实上的实测表现，据此选择回测窗口。对内容创作者和企业采购者来说，涉及历史行情或政策结果的模型输出需要额外核验，尤其在模型训练数据覆盖的时段内。摘要未给出可直接调用的 API 或产品，相关实践仍以评测方法为主。