一句话看懂：arXiv 新论文推出 CLR-Bench 基准，用逐级叠加的隐藏规则测试自进化智能体能否真正学会没人直接告诉它的规则。结果显示，在特定认证模型下多数方法几乎学不会，固定提示却能显著提升分数。
事件核心：发生了什么
根据 2026 年 11 月 2 日发布的 arXiv 摘要，研究者提出 CLR-Bench，即“潜在规则课程”基准。每条测试链每升一级就叠加一条隐藏规则，规则作用于一个不透明标签，该标签对应网上公布的有名分组，例如航空联盟创始成员。任务只给一个示例值，练习反馈每次再透露一个成员和一个非成员，测试则检查未出现的成员和相似的非成员。论文用探针确认基础模型知道这些分组，但在没有反馈时不会主动猜出，且证据足以在标签被解读为命名分组后锁定答案。团队用自动化流程从新数据领域构建链条，发布覆盖 10 个领域的 20 条链，并评测了六种近期自进化方法。
为什么重要
自进化智能体会根据反馈重写持久状态，但它是否真能归纳出未被告知的规则，此前缺乏系统检验。CLR-Bench 把“记住每次纠错”和“学会规则”区分开：摘要显示，在认证模型下，表现最好的方法比冻结智能体最多高 5 分，且只能把 6% 到 12% 的未见成员排除在计数之外，低于直接保留原始练习历史所达到的 20%。这说明部分自进化收益可能来自例外列表而非规则理解。反过来，一条说明“标签代表命名分组”的固定提示，可让同类方法提升 14.5 到 16.5 分，提示信息组织方式对结果影响很大。
对用户/开发者/创作者的影响
对开发者而言，这项基准提醒：评估智能体记忆与学习能力时，要设计能区分“规则迁移”和“例外堆叠”的任务；摘要提到多数方法的状态 75% 到 98% 保留已透露成员，却几乎不保存类名，练习暴露漏掉的成员时还会直接补进列表。对使用 AI 应用的团队，简单的事实提示可能比复杂自我改写更有效。摘要还显示，换成更强的 GPT-6-Sol 后，ACE 和 Dynamic Cheatsheet 仅靠反馈即可学习，达到 78% 准确率，单格解决率为 59% 到 60%，而认证模型下分别为 53% 和 8%。目前公开信息仅来自摘要，尚不能据此判断这些方法在真实产品中的表现。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，论文是否公开完整实验、任务构造细节和六种方法的具体配置；第二，其他团队能否复现“固定命名约定提示带来提升”的结论；第三，CLR-Bench 是否被用于比较更多闭源和开源大模型，以及智能体厂商是否会在产品评估中引入类似隐藏规则测试。
来源：arXiv cs.AI
