Ai2 发布新颖性裁判基准:提示词微调可让判断准确率差超 50 个百分点

Ai2 于 2026 年 10 月 27 日发布《Old Ideas, Novel Problems》研究与配套基准,测试大模型能否可靠判断科研想法的新颖性,结果发现评估设置稍有变化,判断结果就会大幅波动。这直接关系到用 AI 生成和筛选科研想法的系统是否可信。

Ai2 于 2026 年 10 月 27 日发布《Old Ideas, Novel Problems》研究与配套基准,测试大模型能否可靠判断科研想法的新颖性,结果发现评估设置稍有变化,判断结果就会大幅波动。这直接关系到用 AI 生成和筛选科研想法的系统是否可信。

Ai2 于 2026 年 10 月 27 日发布研究《Old Ideas, Novel Problems》,测试六款大模型作为“新颖性裁判”的可靠性,结果显示评估设置稍有变化,对同一批研究想法的判断就会大幅改变。

开发者 @CanItCode 声称用 Opus5.5 与 GPT Astra 在虚幻引擎 5(UE5)中生成了一段 Boss 战 Demo,观感接近《艾尔登法环》,并公开了 3D 人物与非人类动画的 AI 制作方法。这一案例的价值不在于 Demo 本身有多完整,而在于它展示了“大模型 + 引擎”参与高难度动画…

开发者 hangtse Lee 于 2026 年 10 月 27 日披露正在研发个人智能系统 JARVIS(AgentOS),以手机为控制端、电脑为执行端、云端为智算层,目标是让一个属于用户的 AI 跨模型、跨品牌调度身边设备;目前仍处研发阶段,跨互联网任务闭环尚未完成验收。

前 OpenAI 研究员 Diogo Almeida 创立的 TypeSafe AI 发布 Jev,它不生成文本,只返回带类型的概率决策,供软件按置信度阈值直接执行或升级处理。上线次日 Vercel 即将其接入 AI Gateway。

OpenAI 的 Ted Sanders 公开解释了公司语言模型的命名逻辑,并给出按价格敏感度选择 GPT-6.1 Terra、Astra、Sol、Luna 的粗略经验法则。这值得关注,因为模型选择正从“只看性能”转向性能、价格和推理成本之间的权衡。

alphaXiv 于 2026 年 10 月 26 日展示的论文 VibeVideoBench,用 239 个中英文任务考察多模态智能体能否通过写代码生成带声音的完整视频;即便最强系统,也有约四分之一任务未满足核心要求,说明这条路线远未成熟。

alphaXiv 上的一项技术报告在 EBench 机器人仿真基准中评测 GPT-6-Astra,发现它单独直接控制时短任务表现不错,但接入后训练 VLA/WAM 策略后整体成功率升至 56.0%,同时暴露策略调用时机不当等瓶颈。

OpenAI 推出 GPT-6.1 Terra,一款面向高并发视觉推理与电脑操作任务的 API 模型,标准价格为输入每百万 token 1 美元、输出每百万 token 5 美元,相当于 GPT-6.1 Sol 的一半。对批量自动化屏幕、表单和文档的团队来说,成本结构出现明显变化。

TIME 10 月 26 日刊文指出,OpenAI 用上万智能体组成的“AI 殖民地”解出纳维-斯托克斯方程,DeepMind 实验又观察到智能体自发组织作弊与举报。文章认为,评估 AI 能力与风险的重点应从单个模型转向智能体集群。