SciΠvot基准发布:前沿大模型在科研纠错判断中多数低于随机

Hugging Face Papers 于 2026 年 10 月 15 日收录的论文摘要显示,新基准 SciΠvot 用 248 个真实科研干预案例测试大模型能否做出正确的科学判断,结果多数前沿模型在关键决策上表现不及随机选择,值得关注的是这暴露了自主科研智能体的判断短板。

Hugging Face Papers 于 2026 年 10 月 15 日收录的论文摘要显示,新基准 SciΠvot 用 248 个真实科研干预案例测试大模型能否做出正确的科学判断,结果多数前沿模型在关键决策上表现不及随机选择,值得关注的是这暴露了自主科研智能体的判断短板。

Hugging Face Papers 收录的论文提出 LeanPRM,借助 Lean 证明助手为自然语言数学证明自动生成步骤级标签,在没有人工标注的情况下训练步骤验证器,在多个基准上优于用 PRM800K 训练的同类模型。

Hugging Face Papers 收录的论文摘要提出 PhysClosureBench 基准,用 50 个专家核验的物理研究任务考察 AI 智能体能否把研究推进到有证据支撑的完整结论。值得注意的是,局部表现最好的 Claude-Opus-5 平均 Atomic Score 为 6.29/10,但完全闭环…

HexaShell 让基于 VLM 的编码智能体通过命令行操控双臂机器人,在 RoboDojo 的 42 项任务上取得 39.7% 成功率和 48.0 进度分,被论文描述为该基准的新最优。它值得关注的地方不只在于分数,而在于把智能体的经验固化成了可复用的代码工具。

研究团队联合美国能源部(DOE)国家实验室科学家推出“Into the Unknown”基准,让AI代理基于真实论文撰写后续研究论文;9个前沿代理共提交135篇,全部未满足领域科学家设定的条件,其中114篇未通过完整性检查。这为“AI能否做开放科研”提供了一个可量化的压力测试。

2026 年 10 月 15 日发布在 Hugging Face Papers 的一篇论文摘要称,GPT-6-Astra 在 12 个机器人操作与导航基准上取得突破性表现,但真实部署仍受演示数据采集成本与物理执行时间制约,结论是“跨过了具身能力门槛,尚未达到实用具身智能”。

Hugging Face Papers 收录的论文提出 TreeOPSD,一种无需价值网络的树状后验自蒸馏框架,用于长程智能体强化学习,在多项基准上提升智能体能力,尤其面向长程任务。

Hugging Face Papers 上的一篇论文提出 LEASH,一个无需训练的框架:让弱模型默认执行电脑操作任务,只在内部不确定性信号触发时把控制权交给强模型,并在交接后继续监督。据摘要,在 OSWorld 上,它以 Qwen3.5-35B-A3B 达到 73.66% 成功率,单任务成本 0.4117…

alphaXiv 上的一篇技术论文提出 WT-Engine 和 .wtq1 v2 权重量化格式,把 Qwen3-8B 的线性权重压到 3.76 bpw、约 3,110 MB,在论文测试条件下接近 GGUF Q8_K 的输出保真度,而后者体积约大 2.4 倍。

Hugging Face Papers 收录的论文提出 Virtual Head Attention(VHA),试图用两条轻量线性变换,在 KV 缓存、训练与预填充算力和模型质量之间同时改善,而不是三选二。值得关注的原因在于,它声称推理时可折叠回标准 GQA-2,直接复用现有优化。