On tokens and prices per token. I said I’d write more about this, so here goes: an OpenAI token != another model’s token. We compare AI prices in dollars per million tokens as if a token were a standardized unit, like…

X 用户 Thibault Sottiaux 指出,不同 AI 模型对同一段文本的分词数量并不相同,业界流行的“每百万 token 价格”对比实际上并不科学——低价 token 不等于低账单。他建议从业者把注意力转向“每个成功结果的价格”。

一句话看懂:X 用户 Thibault Sottiaux 指出,不同 AI 模型对同一段文本的分词数量并不相同,业界流行的“每百万 token 价格”对比实际上并不科学——低价 token 不等于低账单。他建议从业者把注意力转向“每个成功结果的价格”。

事件核心:发生了什么

8 月 16 日,AI 行业观察者 Thibault Sottiaux 在 X 上发布了一份关于 token 定价的观察报告。他明确表达了一个观点:OpenAI 的 token 与其它模型的 token 并不等价,直接把各家 API 价格换算成“每百万 token 多少美元”再对比,会让用户产生严重的成本误判。

他举了一个具体例子:在一组覆盖英文、技术文档、多语言和数字文本的测试中,GPT-5.6 Sol 使用的分词器消耗了 766 个 token,而同一批文本在 Claude Opus 5 上预计需要 1170 个 token,差异约 34.5%。换句话说,即使两家单价相同,实际处理同一任务的账单也可能相差三分之一以上。

Sottiaux 用了一个非常直观的比喻:同样尺寸的披萨,一家切成 8 块每块 2 美元,另一家切成 16 块每块 1.25 美元,后者看起来单片更便宜,但整张披萨反而贵了 4 美元。“你的胃不会在乎你吃了几片。”token 也一样,模型真正产出的是结果,而不是 token 数量。

为什么重要

大模型 API 的商业化高度依赖“按 token 计费”的模式,价格战也往往围绕每百万 token 单价展开。但 token 不是标准化单位——它取决于各家模型的分词器设计、词表覆盖能力和文本类型。中文、代码、JSON 结构化输出、数学公式等不同内容在不同分词器下的 token 消耗差异可能非常明显。

这意味着,当前公开市场上的模型价格对比表存在系统性偏差。一个模型如果在分词环节效率更高,即便单价更贵,实际完成任务的总成本也可能更低。随着大模型从文本生成走向更复杂的 Agent 工具调用和多步推理,单次任务消耗的 token 数持续增长,分词效率对总账单的影响只会越来越大。

对用户/开发者/创作者的影响

对正在做 API 选型或成本预算的开发者来说,最直接的教训是:不要只看模型官网标注的百万 token 价格,更不能用这个数字推导“哪个模型更便宜”的结论。真正可靠的方法是用自己的真实输入输出数据跑一次成本测试,分别统计两家模型的 token 消耗和最终效果,再计算单位有效产出的总支出。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

对依赖 AI API 做产品的创业团队和企业采购方,这意味着成本模型需要多一个变量:分词器效率。尤其在处理大量中文、代码或结构化数据的场景中,不同模型之间的 token 消耗差距可能比纸面价格差距更值得关注。

对普通内容创作者,影响相对间接,但如果经常使用按量计费的 AI 写作或图像生成工具,理解“低价 token 可能是营销话术”能帮助避免被单价宣传误导。

值得关注的后续

目前公开信息显示,各家模型厂商尚未统一 token 口径,也没有行业标准的“任务成本基准”。后续可以观察三个方向:一是模型厂商是否会从“每百万 token 价格”的宣传转向“每任务成本”或“每成功结果成本”的披露;二是第三方评测机构是否会推出跨模型的分词效率对比标准;三是在 Agent 场景中,token 消耗更少的模型会不会在开发者生态中获得成本敏感型用户的迁移红利。

来源:Follow Builders · X · Thibault Sottiaux

celebrityanime
celebrityanime
文章: 18735

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注