一句话看懂：alphaXiv 上公开的论文 FrontierCS 2 提出一个包含 48 个开放式任务的基准，把 LLM 智能体放进真实研究代码库，要求它补回论文被删掉的核心贡献；最强智能体 Claude Opus 5.5 在测试中通过 58% 的运行，另有 16 个任务无人通过。
事件核心：发生了什么
根据论文摘要，FrontierCS 2 的构建方式是：取一篇论文及其作者公开的代码，删除实现该论文核心贡献的代码，只保留依赖和可运行环境，让智能体接手仓库并提交补丁。被删代码作为人类参考，任务通过阈值也由该参考的表现确定。任务覆盖 13 个领域，包括机器学习系统、高性能计算、数据库、安全和机器人等。除 48 个公开任务外，作者还保留 100 多个私有任务，计划后续公布。
评测共涉及 12 个智能体（模型加运行框架）。智能体有 5 小时工作时间，每次提交补丁可获得开发集分数，但评测器、留出测试集和参考实现始终不公开，最终只评测智能体选定的那个补丁。通过的标准是：在全部留出工作负载的每一项指标上都超过参考实现。摘要显示，表现最好的是 Claude Opus 5.5，通过其 58% 的运行；没有智能体通过其中 16 个任务。另需注意，最终得分高于参考并不等于通过，多数得分占优的运行仍在至少一项指标上未达标。
为什么重要
现有开放式基准通常给智能体一个问题描述，最后评一个程序。FrontierCS 2 更接近研究工程现场：智能体需要理解已有代码库、定位缺失部分、改动并验证。它把“能否做出贡献”拆成可复现的补丁级评测，同时刻意隔离隐藏测试集，降低针对开发分数过拟合的空间。摘要还提到一个共享难度尺度，按该尺度，中位任务的难度大致相当于最强智能体能处理的上限。这对判断 LLM 智能体在真实研发流程中的能力边界有参考价值，但这是论文基准，并非已上线的产品评测服务。目前公开信息仅来自摘要和论文页面，完整实验细节和同行评审状态尚不明确。
对用户/开发者/创作者的影响
对开发者和研究者，这类基准提示了一件事：智能体在单点指标上刷高分相对容易，但在多项指标、多个未见过工作负载上同时超过人类参考实现要难得多。如果后续有工具链跟进，团队可以用类似方法评估内部编码智能体，而不是只看它在公开题集上的分数。对使用 AI 编程工具的用户，短期不必把它当成产品能力承诺：摘要中的 58% 是特定模型、特定运行框架和特定任务集下的结果，不能外推为通用研发能力排名。对关注开源与闭源模型的读者，值得留意后续完整结果是否公布各模型与框架的组合差异。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是 100 多个私有任务何时公布、是否公开评测入口；二是完整论文是否披露 12 个智能体的逐任务结果，以及不同运行框架对成绩的影响；三是“得分高但不通过”的现象是否被后续工作细化为更可操作的诊断指标，而不仅是一个通过率。
来源：alphaXiv
