FDE-Gym 基准测试:AI 交付最后一公里,最佳模型仅解决 95 项任务中的 14 项

Hugging Face Papers 上发布的一项新基准 FDE-Gym,用 95 个真实客户交付任务测试 13 种模型配置,最佳成绩只解决 14 项。它把 AI 评测从“会做题”推向“能交付”,暴露了前沿部署工程师场景中的真实差距。

Hugging Face Papers 上发布的一项新基准 FDE-Gym,用 95 个真实客户交付任务测试 13 种模型配置,最佳成绩只解决 14 项。它把 AI 评测从“会做题”推向“能交付”,暴露了前沿部署工程师场景中的真实差距。

Hugging Face Papers 上出现一篇论文,提出 MRTPO 方法,将多奖励强化学习中的每个奖励优势精准分配给与之相关的 token,无需辅助模型或标注,在文本到 SQL 等任务上收敛更快、表现更好。

Hugging Face Papers 收录的论文摘要提出 Data World,把“先定义文件背后的世界机制、再生成文件”作为数据合成路线,并据此生成了数据智能体训练任务与评测集 DataWorld-Bench。

Hugging Face Papers 收录的论文提出 MAI-Gym,一个覆盖移动端、电脑与网页环境的开源平台,把 GUI Agent 的评测、数据采集与在线强化学习训练统一到同一套流程里,并放出 MAI-Gym-9B 模型与 2000 条验证任务。

alphaXiv 2026年10月15日收录的论文提出 Spark-0,用1000小时全手触觉数据辅助视觉预训练,使机器人在无触觉部署条件下任务成功率从52.5%提升至71.7%。

OpenGCUA 发布首个开源通用计算机使用智能体全栈方案,在 OSWorld-v2 评测中让八个模型的平均部分分提升 19.6 分,并大幅减少执行步骤。这为研究闭源前沿系统之外的设计路线提供了可复现的开放基础。

2026年10月15日,alphaXiv平台展示的论文提出T2-Z方法,在机器人世界模型中引入可学习的“环境潜变量”,让机器人在测试时从实际交互中推断隐藏的环境因素(如摩擦力、质量),从而提升动作预测准确性。在7个模拟环境和4个真实机器人任务中,物体预测误差从15.20降至7.00,动作成功率从33.73%提…

Hugging Face Papers 收录的论文 OmniVerifier-C1 提出把复杂视觉验证从“对/错”二分类改为“按子问题打分”的连续评价,并探索其在规则驱动的世界建模任务中的表现。它值得关注,因为视觉验证器正成为多模态大模型训练和生成内容评估的关键环节。

2026年10月15日,Hugging Face Papers 收录的论文摘要提出 MJev-Spatial,把空间理解任务的答案从“自由文本生成”改成“候选打分”,在 12 个基准中 7 项第一,并比其自回归基座模型快 5.6 倍。

Hugging Face Papers 收录的 RoTA-Bench 用交互式 3D 到 2D 投影对齐评测视觉语言模型的空间推理能力;在 100 项测试集中 GPT-5.6-Sol 仅成功 17%,而 20 名本科生集体完成后成功率达 100%。