“母病速归”式 AI:号称省 65% Token,实测只有 8.5%

GitHub 上爆火的 Caveman 项目,声称通过让 AI 编程 Agent 像“原始人”一样说话——砍掉客套、连接词、冠词——能节省 65% 的输出 Token。但 JetBrains 的严谨实测显示,在真实编程任务中,实际节省仅为 8.5%,远低于宣传数字。这个案例揭示了当前 AI 成本优化中的一个常…

“母病速归”式 AI:号称省 65% Token,实测只有 8.5%

一句话看懂:GitHub 上爆火的 Caveman 项目,声称通过让 AI 编程 Agent 像“原始人”一样说话——砍掉客套、连接词、冠词——能节省 65% 的输出 Token。但 JetBrains 的严谨实测显示,在真实编程任务中,实际节省仅为 8.5%,远低于宣传数字。这个案例揭示了当前 AI 成本优化中的一个常见误区:将风格优化与成本革命混为一谈。

事件核心:发生了什么

2026 年 4 月初,荷兰莱顿大学 19 岁学生 Julius Brussee 在 GitHub 上发布了 Caveman。该项目本质是一段提示词(Prompt),打入 Claude Code、Codex 等 AI 编程工具后,强制 Agent 输出极简文本,例如将“The issue is caused by a new object reference being created on every render”压缩为“New object ref each render. Wrap in useMemo”。项目上线几天内冲上 GitHub Trending 第一,截至 7 月 12 日已获得约 8.85 万 Stars。其 README 宣称能大幅压缩输出 Token,最常出现的数字是 65%。

JetBrains 随后进行了独立验证。他们使用 Claude Code,在 SkillsBench 的 86 个真实编程任务中,安装与不安装 Caveman 各跑一遍,3 轮共约 240 次试验,总花费约 106 美元,强制 Caveman 在每次回复中生效(获取其最佳节省场景)。结果显示:Caveman 版本的输出 Token 从约 59.2 万降到 54.2 万,实际节省约 8.5%。在 82 组成功配对的任务中,64 个结果相同,8 个更好,10 个更差,未发现显著的任务质量下降。

为什么重要

这一结果揭示了 AI Agent 成本结构的核心事实:编程 Agent 的 Token 消耗大头不在聊天回复,而在系统提示词、上下文积累、代码文件与搜索结果、工具调用及返回结果、diff 与错误日志。Caveman 主要在压缩工具调用之间的几句自然语言说明,这部分在总账中占比很小。项目方引用 65% 的节省数据,大概率是来自纯聊天场景下压缩客套话的估算,这与 Agent 工作流的真实账单严重脱节。这就好比一家公司压缩差旅费,未动机票酒店,却先取消了员工每天 2 元的矿泉水。该案例提醒开发者,Token 优化的真正杠杆在于:减少无效上下文、提高缓存命中率、降低不必要的工具调用和返工,而非逼模型“少说话”。随着模型单价长期下降,以及 Anthropic 等厂商推出的提示词缓存技术(缓存命中的输入价格仅为普通输入的 0.1 倍),电报体式优化的价值将更加微薄。

对用户/开发者/创作者的影响

对使用 AI 编程工具的开发者:Caveman 可作为一个风格插件,如果你厌烦 Agent 的客套话或希望输出更紧凑,它基本无害且有趣。但不要指望靠它大幅降低 API 账单。真正节约成本需要审视工具调用方式、上下文管理策略,以及选择合适难度的模型来完成不同任务。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对 AI 应用开发者和产品经理:该案例提供了一个实战教训——展示某个功能“能省 X% Token”时,务必说明基准场景是纯聊天还是完整工作流。JetBrains 的测试方法(同任务、同配置、多轮、强制生效、对比质量差异)可作为行业标准参考。

对提示词工程和 AI 内容创作者:电报体式压缩可能带来沟通默契风险。在复杂或不熟悉的代码仓库中,过于简短的输出(如“Fixed auth. Tests pass.”)缺失了关键上下文(修的是哪种认证、跑的是单测还是集成测试),可能导致开发者不得不追问,Agent 重读文件和重新测试反而消耗更多 Token。信息完整有时比极致简短更具成本效益。

值得关注的后续

  1. 开源社区反应:Caveman 的 8.85 万 Stars 能否转化为实质性迭代?项目方是否会基于 JetBrains 的测试更新宣传数据,或推出更合理的 Token 节省场景说明书?
  2. 竞品与平台跟进:其他 AI 编程工具(如 GitHub Copilot、Cursor)或提示词市场是否会推出类似“简洁模式”,并附带真实的节省计量?Anthropic 的提示词缓存技术进一步普及后,用户对“少说话”类优化的需求是否自然消退?
  3. 测试标准普及:JetBrains 的公开测试是否会推动行业建立更透明、可复现的 Token 节省宣称验证流程?下一次类似“风格革命”的宣称出现后,开发者和媒体是否会要求更完整的实测数据。

来源:宝玉

celebrityanime
celebrityanime
文章: 12931

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注