一句话看懂:arXiv 新论文提出 BuggyMLE,通过向可运行的机器学习代码库注入受控 Bug,构建仓库级、难度可分级的多文件 MLE 评测环境,让“改一个文件就能过”的饱和基准重新拉开区分度。
事件核心:发生了什么
2026 年 11 月 20 日,arXiv cs.AI 收录论文《BuggyMLE: Scaling Machine Learning Engineering Difficulty with Bug Injection》。作者指出,现有 MLE 基准大多只允许 agent 编辑单个文件,且缺乏完整仓库和 shell 访问权限;而常见的仓库级软件工程基准已快速饱和。为此论文先提出 Code Complexity Index(CCI),用仓库规模、依赖深度、补丁大小等十项结构特征衡量难度,称其在八个公开编码基准上的平均解题率预测 R² 达 0.951。
基于 CCI,团队从 222 个源仓库生成超过 6,600 个注入 Bug 的 MLE 仓库变体,注入代码近 26 万行。他们据此构建 BuggyMLE-Bench-Lite——素材称其为 MLE-Bench Lite 的首个难度分级、仓库级变体。在 14 个被评测模型中,从最简单到最难档位,最高解题率由 95% 降至 9%。此外,团队用 200 多个额外 ML 仓库合成三级难度课程,微调 Qwen3.5-9B,使其在该基准上接近前沿模型,并称该能力可迁移到 SWE-bench Lite 与 LiveCodeBench v6。
为什么重要
如果 AI 要自主改进 AI 模型,agent 就必须能在多文件仓库中复现结果、调试训练、接入数据集和迁移框架,而不只是做单文件补全。BuggyMLE 的价值在于把“难度”变成可量化、可合成、可分级的变量,为评测和训练提供同一条生产管线。不过目前公开信息仅为论文摘要,CCI 的有效性与结果需全文实验和同行评审进一步检验,不宜视为已完成验证的行业标准。
对用户/开发者/创作者的影响
对开发者而言,这类仓库级、带 Bug 的评测更贴近真实工作流,可作为检验 coding agent 是否具备多文件修改与调试能力的参考。对团队选型来说,摘要中“最高解题率 95% 降至 9%”说明简单基准可能高估 agent 能力,采购或自建评测时应关注任务难度分布与权限设置,而不是只看单一榜单分数。Qwen3.5-9B 的微调结果显示,中等规模开源模型通过针对性课程,也可能在特定 MLE 任务上缩小与前沿闭源模型的差距,但目前公开信息仅限摘要描述。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 BuggyMLE-Bench-Lite 是否公开数据集与评测代码,让结果可复现;二是 CCI 能否在其他仓库级基准上稳定预测难度,而非只在论文所选样本中成立;三是注入 Bug 的方式是否覆盖真实故障类型,避免agent学会“模式化修 Bug”。
来源:arXiv cs.AI


