ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported”

快速结论：这个报错发生在使用 mlx_lm.generate 加载模型仓库时，因为 tokenizer_config.json 中 tokenizer_class 被设置为 "TokenizersBackend"，而当前 transformers 版本（5.14.1）无法识别该 class。优先排查 transformers 版本是否过旧，或环境中是否存在多个版本。

适用环境：macOS（推测），Python 3.10.4，transformers 5.14.1，tokenizers 0.22.2，mlx_lm，模型 mlx-community/MiniCPM5-1B-8bit（以及类似仓库 sahilchachra/minicpm5-1b-8bit-mlx）。

最快修复方案：暂无确认的一步修复方案。可优先尝试将 transformers 升级到最新开发版（如 5.15.0.dev0），该版本已针对 TokenizersBackend class 添加了解析支持。或者等待下一个正式发布版本。

注意事项：开发版可能包含未稳定测试的改动；如果强制重新安装后问题依旧，请检查当前 Python 环境是否确实使用了正确的 transformers 安装路径（如 site-packages 目录）。

问题场景

用户在 macOS 上使用 mlx_lm.generate 命令（版本推断为 mlx-lm 库）加载 mlx-community/MiniCPM5-1B-8bit 模型时触发报错。模型文件已被成功下载（共 7 个文件），但在加载 tokenizer 阶段失败。用户已确认 transformers 为最新稳定版（5.14.1）且 tokenizers 版本符合要求，但问题依然存在。

报错原文

Traceback (most recent call last):
  File "…/mlx_lm/generate.py", line 1293, in main
    model, tokenizer = load(
  File "…/mlx_lm/utils.py", line 326, in load
    tokenizer = load_tokenizer(
  File "…/mlx_lm/utils.py", line 279, in load_tokenizer
    return _load_tokenizer(
  File "…/mlx_lm/tokenizer_utils.py", line 463, in load
    AutoTokenizer.from_pretrained(model_path, **kwargs),
  File "…/transformers/models/auto/tokenization_auto.py", line 1153, in from_pretrained
    raise ValueError(
ValueError: Tokenizer class TokenizersBackend does not exist or is not currently imported.

原因分析

最可能的原因是：模型仓库 mlx-community/MiniCPM5-1B-8bit 的 tokenizer_config.json 中 tokenizer_class 字段设置为 "TokenizersBackend"，该 class 在 transformers v5.14.1 中尚未被注册或导入。官方开发分支（main 分支，version 5.15.0.dev0）已显式处理这一 class 名称，因此可以正常加载。

另一个可能原因是环境中存在多个 transformers 版本（例如用户未注意到的旧版本），导致加载的 tokenization_auto.py 文件行号与当前