失控的 AI 智能体,正在抛弃 GPU?

AI 智能体在部署后出现 Token 消耗失控、账单暴涨的现象,导致 UBER、微软等公司被迫限制使用额度;与此同时,这一危机正促使行业重新思考计算架构,CPU 在 AI 任务中的角色开始回升,部分算力正向本地设备迁移。

失控的 AI 智能体,正在抛弃 GPU?

一句话看懂:AI 智能体在部署后出现 Token 消耗失控、账单暴涨的现象,导致 UBER、微软等公司被迫限制使用额度;与此同时,这一危机正促使行业重新思考计算架构,CPU 在 AI 任务中的角色开始回升,部分算力正向本地设备迁移。

事件核心:发生了什么

过去一年,美国科技圈以 AI 为名的一波裁员潮并未真正实现降本。一项对 300 多家企业 HR 的访谈显示,36% 的公司在裁员后被迫召回原裁员人数的一半,原因是 AI 不够稳定。更核心的问题在于,AI 的 Token 账单正在吞噬企业的人力成本节省。

典型案例包括 Uber:2024 年 12 月其 AI 编码工具普及率达到 95%,但 4 个月后全年 AI 预算被打穿,公司被迫将每人每月 AI 工具开销上限定为 1500 美元。另一个极端案例来自 OpenClaw(已加入 OpenAI),其三人团队在 2026 年 5 月使用约 100 个 Codex 编码智能体实例,30 天内发起约 760 万次请求,消耗约 6030 亿 Token,对应 API 成本约 130.5 万美元。

结构原因在于:智能体不是线性完成任务,而是在反复循环中将代码、报错日志、搜索结果重新塞入上下文。普通对话每轮约消耗 1 万 Token,推理模型升至 10 万,智能体动辄超过 100 万;同任务执行两次,消耗可相差 30 倍。输入 Token 与输出 Token 之比高达 154:1。

原高通全球副总裁沈劲在使用某知名 AI 智能体平台时,一天内耗尽了 8000 积分(正常够用一个月),且平台方一个月未响应售后。微软旗下的设备体验部门也因 Claude Code 账单失控,要求今年 6 月末取消绝大多数内部许可证。

为什么重要

高额且不可预测的 Token 消耗正在倒逼行业重新思考 AI 运行方式。此前三年,所有人注意力都在 GPU 上:2025 年 Meta、微软、谷歌、亚马逊四家公司在 AI 智算中心花费超 3000 亿美元,其中六成用于采购 GPU,服务器内 GPU 与 CPU 配比约为 8:1。但智能体的核心工作并非内容生成,而是任务编排、状态维护、高并发 API 调用等——这些正是 CPU 的强项。沈劲认为,GPU 与 CPU 配比正从 8:1 转向 1:1。

这一变化已催生新的硬件路径。今年 6 月 1 日,英伟达发布 RTX Spark,其核心芯片 N1X 将 GPU 和 CPU 封装在一起,并联合微软对 Windows 11 进行 13 项底层改造,目标是打造“智能体 OS”,将算力从云端拉回本地。苹果则在 WWDC 上推出五层 AI 架构:手机本地的 30 亿参数模型(Token 成本为 0)、200 亿参数稀疏模型(Token 成本为 0)、苹果私有云、以及最终才调用谷歌公有云的极端任务。这套分层既省钱又保护隐私。

对用户/开发者/创作者的影响

对企业决策者:即便能用 AI 替代部分岗位,也要预留至少 3-5 个月的 Token 预算弹性,Uber 和微软的案例表明账单可能在数月内失控。建议在部署智能体前,先做 Token 消耗的压力测试。
对开发者:如果正在开发需要长期运行的多步骤 Agent,当前的按 Token 计费模式风险极高,需考虑在本地或私有云预部署编排和调度任务,减少云端调用次数。
对终端用户:本地 AI 设备的品类(如英伟达 RTX Spark、苹果本地模型)将在 2026-2027 年增加选择空间,用户在购买前需明确自己的任务属于“频繁编排”还是“一次生成”,前者应优先选择 CPU 能力强的本地设备。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

1. 英伟达 RTX Spark 与 Windows 11 的“智能体 OS”改造是否能在 2026 年下半年如期落地,以及第三方 Agent 框架(如 LangChain)是否适配其本地调度能力。
2. 苹果的五层分层 AI 方案能否推动其他手机厂商跟进本地轻量模型+端云协同的架构,从而缓解公有云 Token 计费压力。
3. 是否会出现“上下文工程”公司(Context Engineering),在请求进入大模型前通过中间层压缩 Token 消耗 60% 以上,这将是企业级 AI 采购的下一个潜在热点。

来源:Readhub · AI

celebrityanime
celebrityanime
文章: 12505

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注