AutoTokenizer silently corrupts deepseek-math-7b-rl in 5.x: encode strips all spaces, decode emits literal byte-level markers

这个报错通常出现在 5.x 版本用 AutoTokenizer 加载 llama 风格、但词表实际为 ByteLevel-BPE(用 Ġ 做词边界)的模型时,例如 deepseek-ai/deepseek-math-7b-rl :编码会静默丢掉空格,解码输出 'weneedtoadd9and6' ,








