SpireBench 用《杀戮尖塔》测试大模型长程策略,20 个模型仍不及专家

arXiv 新论文提出 SpireBench,让 20 个大模型完整游玩商业卡牌游戏《杀戮尖塔》,测试它们在长周期决策中的策略推理能力。结果显示前沿模型能击败启发式基线、追平普通人类玩家,但与专家差距明显,且随流程拉长而扩大。

一句话看懂:arXiv 新论文提出 SpireBench,让 20 个大模型完整游玩商业卡牌游戏《杀戮尖塔》,测试它们在长周期决策中的策略推理能力。结果显示前沿模型能击败启发式基线、追平普通人类玩家,但与专家差距明显,且随流程拉长而扩大。

事件核心:发生了什么

根据 arXiv 2026 年 10 月 12 日发布的新论文摘要,研究者构建了 SpireBench,这是首个让模型游玩《杀戮尖塔》完整原版游戏的评测框架。《杀戮尖塔》是一款商业 deck-builder 游戏,早期决策会决定长期成败。实验在游戏最高难度下进行,覆盖 20 个大语言模型。前沿模型的表现超过启发式基线,并接近普通人类玩家的平均水平,但仍远落后于专家玩家。差距随游戏进程拉长而扩大:最强模型在第一章的通关率与专家相当,之后逐渐落后。研究还发现,强模型与弱模型的主要差异在于单场战斗的处理能力;所有模型在整局游戏中都倾向于保守保留生命值,而不是用生命值换取成长。此外,对所有游戏术语做一套自洽的重新命名后,模型表现下降,说明部分能力来自对游戏的先验知识。模型也无法从跨局写入的记忆中改进,这些记忆往往错误且过度谨慎。

为什么重要

目前大多数 agentic benchmark 偏短、偏回合制,难以把长任务表现拆解为知识、推理和运气。SpireBench 提供了一个未饱和的长程评测环境,能定位模型在哪个阶段、因为什么原因失败。这补上了大模型在复杂策略游戏中长周期决策评测的空白。对 AI 行业来说,这意味着模型能力评估正从短问答、单步工具调用,走向需要持续规划和风险权衡的场景,也更接近真实世界中长期项目、游戏 AI、自动化决策等应用的需求。摘要同时提示,模型可能依赖训练数据中的游戏先验知识,且跨局记忆没有转化为有效经验,这对 agent 记忆系统和持续学习路线提出了直接疑问。

对用户/开发者/创作者的影响

对开发者而言,SpireBench 的 harness 首次把完整原版游戏交给模型,可作为一个可复现的长程 agent 评测起点,用于比较不同模型、提示策略和记忆机制。对 AI 应用团队来说,摘要中“保留生命值而非换取成长”的保守倾向值得注意,因为类似的风险规避行为可能出现在需要主动试错、资源换增长的自动化任务中。对游戏 AI 和内容创作者,这项评测说明当前模型在高难度策略游戏中仍难稳定达到专家水平,不宜直接用作高可靠性对局代理。对投资者和研究者,关键信号是长程策略推理仍是未饱和方向,围绕记忆、风险建模和长上下文规划的投入有明确需求。目前公开信息显示,该工作为论文摘要阶段,未提及已上线产品或完整实验细节。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

第一,SpireBench 是否会公开完整评测框架和模型运行日志,让社区复现并比较不同 agent 架构。第二,后续研究能否解释并改善模型跨局记忆错误、过度谨慎的问题,这直接影响 agent 在长期任务中的学习能力。第三,如果类似长程评测被更多机构采用,可能推动大模型训练和推理侧更重视规划与风险权衡,而非单纯扩大参数或上下文窗口。

来源:arXiv cs.AI

celebrityanime
celebrityanime
文章: 28888

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注