Epoch AI用内部真实任务评测:Claude Fable 5.1与GPT-6 Astra平均得分65%

Epoch AI 把自家日常工作整理成评测任务,发现 Claude Fable 5.1 与 GPT-6 Astra 平均只完成 65% 的评分项;这说明模型能在部分真实任务上提供帮助,但离直接替代人类员工仍有明显距离。

一句话看懂:Epoch AI 把自家日常工作整理成评测任务,发现 Claude Fable 5.1 与 GPT-6 Astra 平均只完成 65% 的评分项;这说明模型能在部分真实任务上提供帮助,但离直接替代人类员工仍有明显距离。

事件核心:发生了什么

Epoch AI 于 2026 年 10 月发布「Epoch Automation Reports」,用内部真实工作任务评测前沿模型,任务包括图表设计、研究项目规划等。评测标准参照人类员工,模型需要自行收集上下文、调用工具并处理复杂流程。结果显示,领先模型 Claude Fable 5.1 和 GPT-6 Astra 平均得分 65%,即输出满足 65% 的评分项;只有达到 100% 才意味着该任务可被放心自动化。目前公开信息显示,这些结果来自 Epoch 的一篇总结,完整报告发布在其官网。

为什么重要

当前基准测试成绩年年饱和,但 AI 的经济影响增长偏慢。Epoch 认为,标准基准常偏向可自动打分的任务,且存在针对基准训练的情况。真实工作任务要求模型补全上下文、使用工具并做出判断,65% 的完成度意味着多数输出仍需人工复核和返工。这为「生产率悖论」提供了一个具体解释:模型能在明确任务上表现较好,但在开放式判断和复杂流程中仍易出错。

对用户/开发者/创作者的影响

对开发者而言,模型在编码、数据分析等边界清晰的任务上更具可用性,适合先做草稿或辅助环节,但不能跳过人工验收。对创作者,图像生成类任务仍需明确指令和风格约束;素材提到 Fable 5.1 在图表设计中输出信息过载,不如人类设计师简洁。企业采购和团队落地时,应把「一次通过率」和人工修复成本纳入评估,而不是只看基准分数。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 Epoch 是否会公开更多任务细节和评分标准,让结论可复现;二是模型在开放式任务上的进步速度,尤其是判断类任务能否接近人类水平;三是类似「一次通过即可自动化」的阈值会在哪些任务上先被跨过,这将直接影响 AI 应用的实际渗透节奏。

来源:Epoch AI:Gradient Updates(RSS)

celebrityanime
celebrityanime
文章: 30172

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注