一句话看懂：Anthropic 更换了 Claude 系列模型（Opus 4.8、Sonnet 5、Fable 5）的 tokenizer，使同一段代码生成的 token 数量增加约 30%，但 API 的 $/Mtoken 标价未变。这意味着用户实际支付的费用上涨了约三成，而市场上以“每百万 token 价格”比价的习惯已不再可靠。
事件核心：发生了什么
PlayCode.io 发表了一项实测研究，对比了 Anthropic、OpenAI、Google Gemini 等前沿模型的 tokenizer 差异。核心发现是：Anthropic 最新的 tokenizer 在解析同一份文件（尤其是英文和代码）时，产生的 token 数比旧版多出 15%-39%。以 TypeScript 文件为例，新 tokenizer 产生的 token 数是 GPT 系列（使用固定的 o200k 分词器）的 1.73 倍。
具体到型号：Opus 4.8 和 Sonnet 5 标价与旧版 Opus 4.6、Sonnet 4.6 相同，但输入相同内容时 token 数高出约 30%。Opus 4.8 的 $5/$25 输入/输出价格，有效成本相当于 $7.50/$37.50。Sonnet 5 的早期优惠价（$2/$10）到 2026 年 8 月 31 日结束后，回落到 $3/$15 标价，届时比 Sonnet 4.6 的实际费用高出约 33%。Fable 5 使用相同的新 tokenizer，验证请求中计费 token 数与预测数完全一致。
为什么重要
长期以来，AI 行业以 $/Mtoken 作为模型定价的比较基准。这项研究揭示了该指标的严重误导性：由于 tokenizer 不同，相同字节数在不同模型的账单上可能相差 30%-70%。Anthropic 此次升级未公开宣布 tokenizer 变化，也未调整标价，用户若仅看官网页面的单价会误以为成本未变。这对于依赖 API 进行大规模推理的应用（如代码助手、Agent 系统、文档处理）影响尤为直接，因为它们的内容天然偏向英文和代码，正好是 tokenizer 膨胀最严重的场景。
对用户/开发者/创作者的影响
API 开发者应重新核算各模型的真实单位输入成本：不应仅对比 $/Mtoken，而应该用自己的典型文本（提示词、工具 Schema、代码）在目标模型端点做 token 计数测试。企业采购部门在评估模型选型时，需要将 tokenizer 差异纳入总成本计算，否则预算可能超支 30% 以上。内容创作者影响相对较小——研究发现中文内容在新老 tokenizer 上几乎无变化，英文长文本则面临温和的价格上涨。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
此外，该研究仅涉及输入 token 计数。输出 token 还受模型 verbosity、思考模式（如 Anthropic 的 extended thinking）和缓存策略的进一步影响，这些因素会使实际任务账单增加更多。
值得关注的后续
1. 目前公开信息显示，OpenAI 的 o200k 分词器已冻结两年且公开文档齐全，Gemini 和 Grok 的 tokenizer 尚未发现类似膨胀。行业是否会要求模型厂商统一披露 tokenizer 细节或提供按字符计费的选项，值得观察。
2. Anthropic 在 2026 年 8 月优惠期结束后，Sonnet 5 是否调整标价、或为老用户推出补偿机制，将直接影响开发者社区的情绪与迁移意愿。
3. 类似 tokenizer 差异可能在其他新模型（如 DeepSeek、GLM）中也存在，目前缺乏公开测量数据。若社区推动标准化测试套件，将对模型选型和定价透明度带来长期改善。
