非英语用户被收“分词税”：研究称小语种AI调用成本最高差17倍

一句话看懂：AI研究联盟CLEAR上月发布的研究指出，主流大模型处理小语种时消耗的token远多于英语，相当于让非英语用户隐性多付费。这不只是账单问题，还会压缩上下文、拉高延迟。

事件核心：发生了什么

非营利研究组织Coalition for Language Equity in AI Research（CLEAR）于2026年9月发布研究，发现tokenizer（分词器）对不同语言的切分效率差异明显。在互联网最流行的20种语言中，最“贵”的语言消耗的token是最便宜语言的1.5至5倍；扩展到200种语言后，某一模型内的token成本差距扩大到17倍。研究把这一现象称为隐性的“tokenizer tax”（分词税）。

令人意外的是，语种冷门程度并非唯一变量，文字系统同样关键。使用拉丁字母的阿斯图里亚语虽使用者少、也缺少Common Crawl数据，却因与意大利语等罗曼语系共享字符而占优；缅甸文、藏文、提非纳文、高棉文、老挝文和奥尔奇基文等tokenizer较少见到的文字，在几乎所有被测模型中持续处于劣势。以OpenAI tokenizer API的示例看，同一句英文被切成可识别的单词，马拉雅拉姆语则被拆成大量碎片。

为什么重要

token是API计费和推理的基本单位，分词效率低意味着同样一段话要付更多钱、占更多上下文窗口，并带来更高延迟。研究原文的表述很直接：班加罗尔的创业公司可能为每一次prompt和completion多付附加费，而奥斯汀的竞争对手不用。对算力和网络本就有限的地区，这构成参与AI经济的结构性门槛，而非单纯的定价细节。

问题的根源在于训练数据分布和分词器设计。目前公开信息显示，多数分词器仍以英语和高资源语言为优化目标；印度AI风投Activate AI联合创始人Pratyush Choudhury认为，非英语语言留给文档或对话历史的余量更小，生成答案也更费力。Navana.ai的Raoul Nanavati则提到，盖茨基金会资助、与印度科学研究院合作的RESPIN等项目在采集38种方言的原生语音和文本，但Maya Research CEO Dheemanth Reddy提醒，改善训练数据不能自动修好分词器，需要实验室在下一代分词器中主动设计。

对用户/开发者/创作者的影响

对开发者和企业采购方，多语言产品的成本模型不能只按英文单价估算，上下文长度、延迟和多轮对话留存都要按目标语言重新测算；语音AI、教育辅导等依赖长上下文的场景受影响更明显。对创作者和小语种用户，同等预算下可用的对话历史和服务质量会被压缩。Reddy也指出token价格整体在快速下降，直接成本压力会随时间缓解，但效率差距本身不会自动消失。