Surge AI推出DAYJOB税务基准:50项任务测试AI代理,最高通过率仅10.8%

Surge AI发布DAYJOB: Tax基准,用50个贴近真实税务工作的环境评估AI代理,结果显示最强模型Claude Sonnet 5.5的通过率也只有10.8%,说明AI在需要专业判断的税务场景里仍远未达到可靠水平。

一句话看懂:Surge AI发布DAYJOB: Tax基准,用50个贴近真实税务工作的环境评估AI代理,结果显示最强模型Claude Sonnet 5.5的通过率也只有10.8%,说明AI在需要专业判断的税务场景里仍远未达到可靠水平。

事件核心:发生了什么

Surge AI在DAYJOB基准家族中新增税务评测DAYJOB: Tax,覆盖个人与家庭税、小企业税、合伙企业、财产与投资、遗产赠与与信托、国际税、公司交易、税务审查与争议共八个领域,共50个任务环境。每个任务给出客户请求和配套工作区,代理需产出税表、工作底稿、技术复核或客户建议。工作区合计1,789份文件,中位数每个任务30份,最多123份,包括1,487份PDF、117份Excel工作簿、38份Word文档,以及邮件、图片、CSV、JSON等。按95%评分标准计算pass@1,Claude Sonnet 5.5以10.8%居首,Claude Fable 5.1为9.6%,Claude Opus 5.5为9.2%。

为什么重要

税务是典型的高门槛专业服务,答案往往不写在指令里,需要代理自己判断哪些信息值得追查、证据冲突如何取舍、何时应承认信息不足。原文举例:一个代理虽能正确评估卖房日期是否满足25万美元资本利得豁免的居住要求,却漏掉了2027年8月后可能失去资格这一关键期限。这类“没被问到但会影响决策”的问题,正是专业顾问与普通问答工具的分水岭。基准把这种隐性判断纳入评分,比单纯考计算或检索更能反映AI代理的实际可用性,也为企业采购和开发者选型提供了公开参照。

对用户/开发者/创作者的影响

目前公开信息显示,该基准尚未对应任何已上线产品,讨论的是模型能力而非商用税务工具。对开发者而言,信号很明确:把大模型接进税务、财务等合规流程时,不能默认其输出可直接交付客户,需要人工复核和边界提示。对企业用户,现阶段AI更适合做资料整理、初步核查和草稿生成,而非独立出具税务建议。对模型厂商,多模态文件解析、长上下文推理和“主动发现关联问题”的能力,可能成为下一轮差异化竞争点。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是后续模型在该基准上的通过率是否随版本迭代明显提升;二是Surge AI是否公布各任务的细分得分与错误类型,帮助开发者定位短板;三是税务实务界是否就AI辅助建议的责任边界形成共识。以上判断均限于本次公开的50项任务与95%评分口径。

来源:surgehq.ai

celebrityanime
celebrityanime
文章: 30847

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注