一句话看懂：一项研究指出，非英语语言在调用大模型时会消耗更多 token，最贵语种比最便宜语种多出 1.5 到 5 倍，形成所谓“tokenizer 税”。这意味着同样的内容，不同语言的 API 使用成本可能相差数倍。
事件核心：发生了什么
据 Techmeme 收录的 Rest of World 报道，一项研究对比了不同语言在 AI 模型中的 token 消耗情况。结果显示，非英语语言普遍比英语消耗更多 token，而最昂贵的语言所需 token 量是最便宜语言的 1.5 至 5 倍。这一差异被概括为“tokenizer 税”，即用户因所使用语言在分词器中的编码效率较低，而被动承担更高的 API 调用成本。目前公开信息显示，该研究聚焦于 tokenizer 对不同语言文本的切分效率，具体模型、语言样本和评测条件需以原文为准。
为什么重要
大模型的 API 计费通常按输入和输出 token 数量结算，tokenizer 的效率直接决定同样语义内容需要多少 token。如果某些语言天然被切得更碎，那么使用这些语言的开发者、企业和创作者在相同任务下会支付更高费用。这不仅影响 API 成本结构，也可能影响多语言 AI 应用的商业化可行性。对闭源模型厂商而言，分词器设计是定价和竞争力的隐性变量；对开源模型社区来说，多语言 tokenizer 的优化空间也值得重新审视。
对用户/开发者/创作者的影响
开发者如果面向非英语市场构建 AI 应用，需要在成本估算中把 tokenizer 差异纳入考虑，而不能简单按字符数或词数推算 API 开销。使用按 token 计费的模型时，同一段提示词在不同语言下的实际费用可能明显不同。创作者和企业在做多语言内容生成、翻译或客服机器人时，也应关注所选模型对目标语言的分词效率。目前公开信息显示，这一差异并非模型能力问题，而是编码层面的成本问题，选择 tokenizer 更适配目标语言的模型或服务，可能带来实际节省。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是看是否有模型厂商公开回应或优化多语言 tokenizer，降低非英语用户的实际调用成本；二是看后续研究是否覆盖更多语言和主流模型，给出可复现的对比数据；三是看 API 定价是否会因此出现按语言区分的调整，或催生针对多语言场景的成本优化工具。
来源：Techmeme
