TrainingArguments shouldn’t set ACCELERATE_MIXED_PRECISION env variable
当你给 TrainingArguments 设置了 fp16 等混合精度参数时，它会污染 ACCELERATE_MIXED_PRECISION 环境变量，导致之后即使不向 Trainer 传入 args=training_args ， Trainer 仍会通过 Accelerate 启用混合精度。排
标签： Transformer
Loading `RTDetrModel` from a detection checkpoint (or `SEWDForCTC` from a SEW-D checkpoint) gives a model with every weight randomly initial
当你用 RTDetrModel 从检测头 checkpoint（或 SEWDForCTC 从 SEW-D checkpoint）加载权重时，如果日志显示 Loading `RTDetrModel` from a detection checkpoint (or `SEWDForCTC` from a
Wrong router gradient with `experts_implementation=”batched_mm”` under expert parallelism
在专家并行（EP）下使用 experts_implementation="batched_mm" 时，MoE 路由门控权重（ mlp.gate.weight ）会收到错误梯度，loss 与参考实现完全一致，但梯度偏大约 50%；优先确认是否启用了 batched_mm ，并切换为 grouped_m
mamba generation throughput lower than original due to DecodingCGCache
在 Transformers 中使用 MambaForCausalLM 生成文本时，如果吞吐量明显低于原始 mamba-ssm 仓库开启 cg=True 的结果，核心原因是 Hugging Face 实现当时未支持 torch.compile / CUDA Graphs 编译路径，而不是 use_c
RuntimeError: expected data_ptr to be aligned to 16 bytes
该报错通常出现在 MoE 模型走 grouped matrix multiplication（grouped_mm）优化路径时，输入或权重张量的 stride / data_ptr 对齐不满足内核要求，却被 dispatcher 错误地路由到 grouped_mm，最终由 PyTorch 抛出运行时
RuntimeError: Number of heads in key and value must divide the number of heads in
这个报错通常出现在用 GlmConfig 手动构造 GLM 因果语言模型、且 num_attention_heads 无法被 num_key_value_heads 整除时（例如 7 对 2）。配置校验和模型构建都会通过，直到第一次 forward 才在注意力实现里抛出 RuntimeError:
Bug in modeling_bart.eager_attention_forward
这个报错通常出现在把 BART 系列模型（如 facebook/bart-base）的注意力实现从默认的 SDPA 切换为 eager 之后，eager_attention_forward 直接把 2D/不匹配的 attention_mask 加到注意力权重上导致形状不匹配或结果异常。优先排查当前
Transformers 5.13 CPU memory growth loading Qwen3-235B-A22B with DeepSpeed ZeRO-3; 4.51.0 remains bounded
这个报错通常出现在用 Transformers 5.13 + DeepSpeed ZeRO-3 加载 Qwen3-235B-A22B 这类 MoE 大模型时，表现为主机 CPU 内存持续上涨直到约 1 TB 被 OOM 杀掉；优先排查 Transformers 版本是否回落到 4.51.0，以及是否
issue: Native Function Calling knowledge-base tools fail with `’str’ object has no attribute ‘items’`
该报错发生在 Open WebUI Native Function Calling 模式下，模型调用知识库检索工具（ query_knowledge_files 或 kb_exec ）时，工具执行器因收到字符串而非预期字典结构而崩溃。优先排查是否启用了 Legacy Function Calling
ValueError: Failed to convert `generate_flags` into a valid JSON object.
该报错发生在 transformers 5.16.1 的 transformers chat 命令行工具解析生成参数（generate_flags）时，当参数缺少 = 会导致索引越界崩溃。优先检查传递给 transformers chat 的所有 --generate 参数是否都严格包含 键=值 格