一句话看懂:Hugging Face 论文页显示,研究者推出 Longtail-SWE 基准,覆盖 Clojure、Kotlin、Swift 等 13 种现有仓库级评测覆盖不足的语言,共 202 个问题解决任务,并开源任务、环境与评测工具。
事件核心:发生了什么
据 Hugging Face Papers 收录的论文摘要(页面时间 2026 年 11 月 6 日),Longtail-SWE 是一套仓库级编程任务基准,共 202 个 issue-resolution 任务,语言包括 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala 和 Swift。这些语言在现有仓库级基准中覆盖较少。
构建流程采用 solver–judge–repairer 三段式:先由 solver 尝试任务,再由 judge 结合解题轨迹和测试结果审查,指导修订测试与任务描述,目的是剔除会误拒合法实现或误收错误方案的测试,同时保留有难度的题目。作者评估了九种模型配置,包括前沿模型,并分析解题表现、重复尝试的一致性和资源消耗。所有实例、可执行环境、构建与评测工具、智能体轨迹均已发布,另附一组较简单任务以支持小模型评测。
为什么重要
主流代码基准长期偏向 Python、Java、JavaScript 等生态,长尾语言缺少可信的仓库级评测。若这套流程有效,它可以减少“因测试缺陷而误删有价值工程问题”的浪费,为多语言代码大模型提供更公平的比较维度。对开源社区而言,可执行环境与轨迹一并释出,也降低了复现门槛。
对用户/开发者/创作者的影响
开发者可以借助公开仓库自建评测,检验模型在 Kotlin、Scala、Swift 等语言上的真实修复能力,而不仅看主流语言分数。工具链与轨迹数据也可用于研究智能体在测试反馈下的迭代方式。需要说明的是,以上均基于论文摘要,目前公开信息显示尚无独立复现或同行评审结论,不宜把九种模型配置的结果理解为长期排名。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是 judge 环节能否稳定区分“测试有误”和“模型答错”;二是小模型在附加简单任务上的表现是否与前沿模型拉开可解释的差距;三是社区是否基于这套工具扩展更多长尾语言或真实企业仓库。


