SWE-at-Scale 用历史修复反向生成 SWE 任务,单文件可产 200 种 bug

Hugging Face Papers 收录的论文 SWE-at-Scale 提出反向利用真实软件修复记录,自动合成可执行的软件工程任务,用来评测编码智能体,缓解真实任务供给不足的问题。

一句话看懂:Hugging Face Papers 收录的论文 SWE-at-Scale 提出反向利用真实软件修复记录,自动合成可执行的软件工程任务,用来评测编码智能体,缓解真实任务供给不足的问题。

事件核心:发生了什么

2026 年 10 月 15 日,Hugging Face Papers 收录了论文《SWE-at-Scale: Scalable Issue Synthesis from Historical Bug Fixes》。该工作针对编码智能体评测中“可验证 SWE 任务不够多、不够真”的瓶颈,提出名为 SWE-at-Scale 的框架。其核心思路是:历史修复记录本身包含 bug 如何形成的机制知识,把一个修复反演回去,就把“修复监督”转成了“缺陷注入监督”,再把这套学到的缺陷模式迁移到新的代码上下文中反复采样,生成可执行的 SWE 任务。论文摘要称,在实验中它比现有合成基线生成的任务更多样、更接近真实,对当前最先进的编码智能体也更具挑战性;并且可以在同一份代码上生成不同类型的 bug,单文件扩展到 200 次生成时,缺陷多样性仍能稳定增长。

为什么重要

评测是编码智能体能力提升的“标尺”。真实 issue 受限于自然上报频率和人工整理成本,而此前不少合成方法主要靠大模型预训练知识加启发式提示,容易偏离真实软件故障的复杂机制。SWE-at-Scale 把开源仓库里海量的历史 commit 变成可复用的监督信号,在供给端打开了一个新方向:评测集不再只依赖人工标注,而可以按需扩展。对于正在训练或选型 coding agent 的团队,这意味着一套更便宜、更可控的任务生成路径,也可能影响后续 benchmark 的构建方式。

对用户/开发者/创作者的影响

目前公开信息显示,该成果仍是论文摘要层面的方法,尚无已上线产品、公开 API 或托管数据集的确切信息。对开发者而言,可关注其思路落地后的两个用途:一是用来自动生成回归测试或缺陷检测任务,二是作为编码智能体训练中的强化学习环境。对企业采购方,若这类合成任务被主流评测采用,未来选型时看到的 benchmark 分数可能更贴近真实工程缺陷,而非刷题式表现。对独立创作者和开源维护者,历史修复记录可能成为可被模型复用的资产,需留意相关代码与许可边界。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,SWE-at-Scale 是否开源代码、合成流水线或生成数据集,以及是否公开任务可执行性的通过率。第二,它生成的 bug 与真实 issue 的分布差距有没有第三方复现验证,尤其在不同语言和仓库规模下的表现。第三,主流编码评测基准或模型厂商是否会跟进采用这类反向合成方法,并公开与人工标注任务的对比结果。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29240

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注