Model quantized via sinq broken after save_pretrained and from_pretrained
用户在 Hugging Face Transformers 中使用 SinqConfig 量化模型（如 google/gemma-4-E4B-it ），执行 model.save_pretrained(save_dst) 后，再通过 AutoModelForCausalLM.from_pretrai
标签： Transformer
[Bug]: test_flashinfer_cutlass_mxfp4_fused_moe accuracy mismatch on H20 (sm90) — 89% mismatch vs 20% threshold
![[Bug]: test_flashinfer_cutlass_mxfp4_fused_moe accuracy mismatch on H20 (sm90) — 89% mismatch vs 20% threshold](https://www.chat-gpts.plus/wp-content/uploads/2026/06/46585-55e7134d-768x403.jpg)
运行 vLLM 内置的单元测试 test_flashinfer_cutlass_mxfp4_fused_moe 时，在单卡 NVIDIA H20 (sm90) 上触发。该测试被条件 gate HOPPER_MXFP4_BF16_AVAILABLE 收集（sm90 + flashinfer 存在）。使
broken documentation example for DIA
用户在阅读 Hugging Face Transformers 官方文档中 DiaForConditionalGeneration 模型（DIA 文本到对话模型）的文本生成示例时，发现示例代码无法直接运行。
_prefill: cache.get_seq_length() returns device tensor, breaks slice arithmetic for static cache + torch.compile on non-CUDA backends
用户在使用 HuggingFace Transformers 库加载 GPT-2 模型（或其他 CausalLM 模型）时，设置 generation_config.cache_implementation = "static" 并开启了 torch.compile(model.forward, b
Qwen3.5 Does not work with variable length inputs using position_ids
用户在 HuggingFace Transformers 框架下使用 Qwen3.5 模型（ Qwen3_5TextModel ）进行 padding-free 变长序列推理。典型场景包括：将多个样本打包成一个 batch（packing），每个样本长度不同，通过 position_ids 在每个样
研报掘金丨长江证券：中控技术 TPT 是工业大模型，国内第一、全球领先
长江证券研报指出，中控技术推出的 TPT 工业大模型在技术路线和商业落地速度上，已做到国内第一、全球领先水平，并将 AI 能力从化工石化拓展至全流程工业。2026年第一季度，公司工业AI收入已达1.84亿元，超过2025年前三季度总和，证明其产品已进入快速放量阶段。
Mamba2Mixer: use_cache with seq_len > 1 silently produces incorrect results (both CPU and GPU paths)
用户在 HuggingFace transformers 库（Mamba2 模型）中，使用 DynamicCache 、 use_cache=True 且输入序列长度（seq_len）大于 1 时触发。场景包括：对长序列进行分块推理，期望通过缓存状态实现状态继承，但 Mamba2Mixer 仅支持单
transformers 5.x: from_pretrained silently returns random-init weights for custom PreTrainedModel subclasses (clean loading_info, no warning
在 transformers 5.x （如 5.12.0）中，用户定义了一个自定义的 PreTrainedModel 子类（非内建架构），通过 save_pretrained() 保存后，使用 from_pretrained() 重新加载。加载后的模型权重变成随机值，但 from_pretraine
ValueError: too many values to unpack (expected 4)
用户在使用 Hugging Face Transformers 库中的 Flex Attention 机制（ --attn-type flex_attention ）并启用静态缓存（ --use-static-cache ）运行 Qwen/Qwen3-4B 模型推理时触发。具体操作包括执行 run_
Substantial numerical differences with Minimax MSA attention vs Minimax’s Reference
在 HuggingFace Transformers 库中运行 Minimax-M3 模型的 attention 计算时触发。用户通过 transformers 库加载 Minimax-M3 模型，并使用 MSA (Multi-Scale Attention) 机制进行推理。与官方参考实现或 VLL