分类： AI 工具排错

在使用 llama.cpp 的 Hexagon HTP 后端执行 F32/F16 的 GGML_OP_ADD 时，如果 src1 的 dim 1 为 1、同时在 dim 2 上有多个 slice（即按行广播但跨 dim 2 切片），HTP 内核可能读错行，导致输出出现 FLT_MAX / inf 。

该报错通常出现在 GB10（SM121）、unified memory 机器上用 vLLM 跑 Qwen4Exp 架构模型做超长 prefill（chunked prefill）时，随着 chunk 推进，QSA indexer 的 per-chunk logits buffer 尺寸逐块增大，Py

在 vLLM 中同时启用 VLLM_BATCH_INVARIANT=1 与 pass_config.enable_sp=True （或会隐式开启它的 fuse_gemm_comms=True ）时，相同请求的 logprobs / 贪心输出会随 batch 组成变化，批量不变性被破坏；优先排查是否同

该报错通常出现在 vLLM V1 引擎开启动态批处理、同时混用带 allowed_token_ids 受限请求与无限制请求时， InputBatch.condense() 会把已释放行的 stale allowed_token_ids_mask_cpu_tensor 残留下来，并被后续无限制请求复用

该报错通常出现在 vLLM V1 引擎开启动态批处理、同时混用带 allowed_token_ids 受限请求与无限制请求时， InputBatch.condense() 会把已释放行的 stale allowed_token_ids_mask_cpu_tensor 残留下来，并被后续无限制请求复用