标签： 人工智能

当使用 llama-tokenize 或加载 gpt-oss、Mistral NeMo 等模型处理印地语、泰语、孟加拉语等含组合标记的文字时，llama.cpp 给出的 token ID 与 Hugging Face 不一致。优先检查 src/llama-vocab.cpp 中 GPT-4o/Tek

在 Apple Silicon 上通过 Metal 运行 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS）时，只要发出第一个对话请求、进入 prompt processing，进程就可能在该路径崩溃，报错为 Eval bug: Nemotron 3.5 Bolt 74B-A9B

该 CI 失败只出现在 ROCm（MI355）的 Core Operation Kernels Shard 1 上，跑 kernels/test_concat_mla_q.py::test_concat_mla_q_fp8_nope_and_rope 相关用例时报 IndexError: tuple

该报错通常出现在 bf16 模型上同时指定 quantization="fp8" 与 kv_cache_dtype="float16" 时，vLLM 启动阶段 FlashAttention 发现 query 与 key 的 dtype 不一致而中止。优先排查 KV cache dtype 是否与模型