12个大模型测试隐藏物理定律:仅GPT-6-Astra发现率16.7%

alphaXiv 收录的论文推出 LongChang 框架,在物理规律被秘密改动的模拟世界里,不告诉模型研究什么,看它能否自己注意到异常并找出规则;12 个模型中只有 GPT-6-Astra 发现率达 16.7%,其余 11 个均为 0%。这直接检验大模型做开放式科学发现的起点能力。

一句话看懂:alphaXiv 收录的论文推出 LongChang 框架,在物理规律被秘密改动的模拟世界里,不告诉模型研究什么,看它能否自己注意到异常并找出规则;12 个模型中只有 GPT-6-Astra 发现率达 16.7%,其余 11 个均为 0%。这直接检验大模型做开放式科学发现的起点能力。

事件核心:发生了什么

论文作者构建了一套自动化测试:由大模型代理生成场景、检查道具设计、评判报告,探索者在 MuJoCo 环境中可推、扔、抓、移动、释放或等待,需要时还能设计并搭建测量装置,全部记录在案后再提交报告,由独立的 LLM 评审对照隐藏规则和探索记录打分。评测覆盖 12 个模型、15 个固定初始场景,最多 100 轮;其中 14 个改动规律的场景每模型各跑 3 次,共 42 次,另设常规物理对照且不计入成绩。数据显示,GPT-6-Astra 发现率为 16.7%,其他 11 个模型为 0%。

为什么重要

此前的 PhysGym、NewtonBench 类基准通常先给定变量或目标规律,模型只需完成推断。LongChang 把难点前移:模型必须自己意识到哪里不对,并决定研究什么。这更接近科学发现的真实起点,也暴露了当前大模型的一个短板——执行实验是一回事,从异常中提出问题是另一回事。值得注意的是,成绩同时要求规律描述的单位正确、结论有探索记录支撑,蒙对或只得到部分结论都不算发现。目前公开信息仅来自摘要和项目页,尚未看到更完整的实验分析。

对用户/开发者/创作者的影响

对开发者而言,这意味着单纯堆叠实验工具和长程操作能力,并不必然带来自主探究能力;评测中“未追查异常”“部分识别规律”的记录提示,智能体在异常检测、优先级判断和实验设计上仍有明显缺口。若这类框架继续成熟,它可能成为评估科研类 AI 应用和大模型代理的一项参考维度,但目前不宜把 16.7% 当成模型的普遍能力或永久排名,它只对应上述场景和条件。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是场景数量和任务复杂度是否会扩大,零分结果是否在更多轮次或提示下改变;二是 GPT-6-Astra 的优势来自异常敏感度还是实验设计策略;三是评测依赖 LLM 评审,其判定标准与稳定性是否公开可复核。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 31047

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注