当 Transformers 的 GradientCheckpointingLayer 与 FSDP2 的 fully_shard 组合，且梯度检查点使用 use_reentrant=True 时，同一个 decoder layer 在单次 backward 前被多次 forward，该层梯度可能只
该问题出现在使用 Transformers 的 SDPA 注意力实现（attn_implementation="sdpa"）时，特定 head_dim 或输入布局导致 Flash/CUDNN 等快速后端拒绝、调度回退到 MATH 并出现 OOM 或 NaN 梯度的场景；优先排查是否需要对 SDPA
该报错/偏差出现在使用 Transformers v5.x 的 Grounding DINO 做图文目标检测时，文本 position_ids 对短语结尾的分隔符（ . 、 ? ）被算成 0 ，导致文本特征整体偏移、logits 和分数与旧版不一致。优先排查并修正 generate_masks_wi
这个 Issue 讨论的是 Trainer 中梯度累积时是否缩放 loss 的判断条件： model_accepts_loss_kwargs 会把“模型是否接受 loss 相关参数”和“loss 是否需要缩放”混在一起。在自定义 Trainer 自行计算 loss 时，这一判断可能引发困惑或额外处理
在 vLLM 中加载 Gemma4 MoE 模型并提供 PEFT 专家 LoRA 适配器时，若未启用混合 MoE LoRA 格式，引擎会因 LoRA 适配器含 3D 融合 MoE 权重、而模型侧使用 2D MoE LoRA 包装器而报错。优先排查启动时是否启用了 enable_mixed_moe_l
![[eager MOE] Selected expert IDs should probably not be treated as 0-d GPU tensors](https://www.chat-gpts.plus/wp-content/uploads/2026/11/49190-31d17efb-768x403.jpg)
该报错/性能问题通常出现在未启用 torch.compile 的 eager MOE 前向中，专家 ID 以 0 维 GPU 张量形式逐个参与索引，导致每个专家触发 aten::item 与 aten::_local_scalar_dense 等标量物化开销。优先排查点是专家 ID 迭代方式，而不是
在 Transformers 中使用 prompt_lookup_num_tokens （prompt-lookup 投机解码）同时又启用了有状态的 LogitsProcessor（CFG 的 guidance_scale 、SynthID 水印等）时，草稿阶段与验证阶段会重复推进处理器内部状态，导
这个报错通常出现在 generate() 被大量参数和内部逻辑塞满、无法干净地挂载逐 token 延迟统计的场景，核心报错是 Support for per-token latency tracking in `generate()` (suggested options: using callba
该报错通常出现在 Apple Silicon（MPS）上使用 model.generate_batch() 或 transformers serve --continuous-batching 启用连续批处理时。torch 2.15.0 新增了 torch.mps.Stream ，而 Transfo
![Muse tool parser JSON-decodes Optional[str] parameters, so "10001" becomes 10001](https://www.chat-gpts.plus/wp-content/uploads/2026/11/64546-39a741f7-768x403.jpg)
使用 vLLM 的 Muse tool parser 时，若工具参数声明为 Optional[str] （即 ["string", "null"] 或 anyOf 写法），解析器会把原本的字符串值当成 JSON 解码，导致 "10001" 变成数字 10001 ，客户端拿到的类型与 schema 不