SWE-Duel提出自扩展代码竞技场:11个模型1500回合互评

Hugging Face Papers 收录的一篇论文摘要提出 SWE-Duel,让两个代码智能体通过红蓝互评动态生成任务与判定标准,试图缓解静态编程基准被训练数据泄漏和饱和的问题。目前公开信息仅来自摘要,尚不代表已上线产品。

一句话看懂:Hugging Face Papers 收录的一篇论文摘要提出 SWE-Duel,让两个代码智能体通过红蓝互评动态生成任务与判定标准,试图缓解静态编程基准被训练数据泄漏和饱和的问题。目前公开信息仅来自摘要,尚不代表已上线产品。

事件核心:发生了什么

论文摘要显示,SWE-Duel 的机制是让两个代码智能体进行镜像式的红蓝回合:Red 方在真实代码仓库中跨三个隔离会话提出并实现新功能,同时埋入一个隐蔽缺陷和只触发该缺陷的密封测试;只有当该提交通过功能测试与仓库原有测试、且恰好失败于缺陷测试,并且同一智能体的新会话能在不看答案的情况下修好缺陷,这个任务才被采纳。随后 Blue 方在不知有缺陷的前提下审查代码,只有修订版同时通过三套测试才获胜,之后双方交换角色。

论文称,该实验在 5 种语言的 15 个仓库上运行了 1500 个回合,共有 11 个“模型-工具”组合参赛。摘要给出的结果显示:使用 Codex CLI 的 GPT-5.5 排名第一,作为解题方修复了其审查缺陷中的 98.3%;使用 mini-swe-agent 的 Claude Opus 4.8 排名第二,作为出题方取得 27.3% 的 Red 方胜率。同一模型家族内,新版本写出的任务让固定参考解题方失败的比例为 42.9%,而旧版本仅 4.0%。

为什么重要

静态编程基准在发布时就固定下来,随着时间推移可能被训练数据吸收,强模型也会逐渐“刷满”。SWE-Duel 的思路是把任务和判定放到评测时生成,并让参赛智能体的能力决定难度,减少内容提前泄漏的空间。摘要中“同一家族新版本出题更难”的初步证据,意味着代码智能体的能力评估可能从“解题”扩展到“出题与评审”,这对大模型编程评测、开源与闭源模型的竞争叙事都有参考价值。

对用户/开发者/创作者的影响

对开发者而言,如果这类互评机制被后续工作验证,未来可能出现更贴近真实仓库协作的代码智能体测试方式,而不是只比刷题分数。对使用 AI 编程工具的用户,选型时除了看模型解题通过率,也可能要看它发现和修复隐蔽缺陷的能力。对企业采购来说,目前公开信息不足以支撑把 SWE-Duel 当作采购标准;它仍是一篇论文摘要描述的评测方法,而非公开榜单或 API 产品。创作者和开源维护者则可关注其“真实仓库 + 功能测试 + 缺陷测试”的构造方式,是否会被用于社区贡献审查或自动化测试生成。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文是否公开,能否核验 1500 回合实验的完整细节与可复现性;二是 SWE-Duel 是否会从论文方法演化为公开排行榜或持续评测平台,以及参赛模型和工具组合是否更新;三是“出题能力随模型版本提升”的结论能否在更多模型家族和仓库上复现,若成立,评测难度自扩展可能成为代码智能体基准的新方向。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 28934

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注