RuntimeError: Input type (float) and bias type (c10::Half) should be the same
这个报错通常出现在手动调用 Whisper 的 WhisperFeatureExtractor 后，直接把 float32 的 input_features 送入以 float16（半精度）加载的模型，例如 openai/whisper-large-v3 、 openai/whisper-large
标签： Transformer
[Bug]: Wide speculative decoding verify (num_speculative_tokens ≥ 7) samples EOS at `prompt_len+8` on hybrid GDN models (Qwen3.5): silent ea
![[Bug]: Wide speculative decoding verify (num_speculative_tokens ≥ 7) samples EOS at `prompt_len+8` on hybrid GDN models (Qwen3.5): silent ea](https://www.chat-gpts.plus/wp-content/uploads/2026/10/61738-8d640711-768x403.jpg)
在 vLLM 启用投机解码（speculative decoding）跑 Qwen3.5 这类 hybrid GDN 模型时，可能在第 10 个 token 附近静默提前停止（ finish_reason=stop ），输出在 EOS 行之前逐字节干净；Issue 讨论最终判定为 bf16 下 EO
Tokenizer adds an additional space after the added token
这个报错通常发生在使用基于 SentencePiece/Metaspace 的 tokenizer（如 NLLB-200）并通过 add_tokens() 添加词表外片段后，当新增 token 后面紧跟其他字符（而不是空格）时，tokenizer 会在新增 token 之后额外插入一个空格。优先排查
ValueError: (‘The batch size of the image embeddings and the input points must be the same. ‘, ‘Got 5 and 1 respectively.’, ‘ if you want to pass multiple points for the same image, make sure
该报错通常出现在使用 Transformers 的 mask-generation pipeline 运行 SAM 模型、并把 crops_n_layers 设为大于 0 的场景。优先排查是否存在“pipeline 在裁剪模式下产生多个输出、与输入点 batch size 不一致”的已知 bug，而
UMT5 incredibly slow in generating
在使用 Transformers 加载 google/umt5-small 并执行 generate 生成时，会出现“UMT5 incredibly slow in generating”，即同样参数规模下 UMT5 的生成耗时明显高于 mbart/t5/mt5。优先排查 UMT5 相对位置偏置计算
[CI Failure]: Multimodal Processor shards – test_tensor_schema[naver-hyperclovax/HyperCLOVAX-SEED-Think-32B] – upstream model_type hyperclov
![[CI Failure]: Multimodal Processor shards - test_tensor_schema[naver-hyperclovax/HyperCLOVAX-SEED-Think-32B] - upstream model_type hyperclov](https://www.chat-gpts.plus/wp-content/uploads/2026/10/56397-752fb663-768x403.jpg)
该报错出现在 vLLM 多模态处理测试（Multimodal Processor shard）加载 Hugging Face 模型 naver-hyperclovax/HyperCLOVAX-SEED-Think-32B 时。上游仓库把 model_type 改成了 CI 镜像里的 transfor
Qwen2Tokenizer overwrites pre_tokenizer from tokenizer.json. Wrong token IDs for all Qwen3.6 / Qwen3.8 models (v4→v5 regression)
在 transformers v5 中使用 AutoTokenizer 加载 Qwen3.6 / Qwen3.8 系列（以及声明了 "tokenizer_class": "Qwen2Tokenizer" 的派生 checkpoint）时， Qwen2Tokenizer.__init__ 会用模块内置
CUDA out of memory
在 vLLM 上为 Gemma 4 多模态模型启用 encoder CUDA graph（ cudagraph_mm_encoder: true ）并开启视频输入时，捕获阶段会按 max_frames_per_batch 为每个预算分配整幅图像尺寸的 dense pixel buffer，导致出现
[Bug]: LoRA `lora_expand` Triton kernel outputs NaN on Hopper (sm_90) with `block_n=128`, producing garbled LoRA output
![[Bug]: LoRA `lora_expand` Triton kernel outputs NaN on Hopper (sm_90) with `block_n=128`, producing garbled LoRA output](https://www.chat-gpts.plus/wp-content/uploads/2026/10/48590-b9235c5a-768x403.jpg)
在 Hopper（sm_90，如 H20/H100）上，用 vLLM 加载 LoRA 适配器时，如果输出全是 !!!!!! 之类的乱码，或者 /v1/completions 返回 Out of range float values are not JSON compliant: nan ，通常是 L
RuntimeError: “bernoulli_tensor_cpu_self_” not implemented for ‘Half’`
这个报错通常出现在模型加载时临时把 PyTorch 默认 dtype 改成 fp16，但加载中途抛异常、原 dtype 没有恢复，后续数据处理代码在 fp16 默认 dtype 下生成 CPU 半精度张量并调用 torch.bernoulli 时触发。优先检查 torch.get_default_d