跨仓联合开发新基准:强模型GPT-6.1 Sol仅得58.48%通过率

Hugging Face Papers 收录的一篇论文提出跨仓库联合开发基准 CrossSWE,用 171 个真实案例检验编码代理能否协调多个相互依赖的代码库;摘要显示最强模型 GPT-6.1 Sol 的通过率仅 58.48%。

一句话看懂:Hugging Face Papers 收录的一篇论文提出跨仓库联合开发基准 CrossSWE,用 171 个真实案例检验编码代理能否协调多个相互依赖的代码库;摘要显示最强模型 GPT-6.1 Sol 的通过率仅 58.48%。

事件核心:发生了什么

目前公开信息显示,该论文没有继续在单个仓库里堆高任务难度,而是把评测对象扩展到多个相互依赖的仓库之间。CrossSWE 共包含 171 个真实任务实例,覆盖 165 个仓库、20 个技术领域和 13 种编程语言。

它的判定方式也值得注意:评测会先检查“只改一部分仓库能否达到预期行为”,以此确认任务是否真的需要跨仓库协同修改,而不是单仓库改动能顺带完成。对 5 个大模型的测试中,表现最好的 GPT-6.1 Sol 仅取得 58.48% 的 Pass@1;跨仓库不一致被列为最常见的失败模式,占比 44.2%。需要说明,以上数字来自论文摘要所述任务与评测条件,不构成模型的长期通用排名。

为什么重要

现有软件工程基准大多围绕单仓库展开,而真实开发常牵涉客户端、服务端、共享库与接口定义之间的联动。跨仓库开发难在三件事:推理依赖关系、把改动传播到关联项目、保持接口一致。CrossSWE 把这三件事变成可测的维度,意味着编码代理的评测重点可能从“能写多少代码”转向“能否在改动一处后同步收尾相关项目”。

44.2% 的失败集中在跨仓库不一致,也提示了主要瓶颈:模型往往能局部改对,却漏掉另一侧仓库的必要同步,或让接口在两边对不上。这与单纯提升单文件代码生成能力的路线并不完全相同。

对用户/开发者/创作者的影响

对开发者而言,这说明让编码代理接手涉及 monorepo 之外、多项目联动的工程任务时,仍需人工检查依赖和接口变更。对工具与 API 开发者来说,跨仓库上下文检索、依赖图分析和变更影响分析,可能比继续放大单次上下文更有价值。对团队采购或引入 AI 编程工具的人,评估时不宜只看单仓库基准分数,还应关注多仓库协同任务的实测表现。普通 AI 应用用户则可把它理解为:代理在大型真实项目上的可靠性,仍低于单文件演示。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否披露更完整的实验设计、任务构造方法和评测细节;二是后续模型或代理框架能否专门改善跨仓库一致性这一类失败;三是这一基准是否被更多编码代理厂商采用,成为公开对比的参考项。目前公开素材仅为论文摘要,上述方向尚待核验。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 32159

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注