标签： Transformer

AI 工具排错

[testing] making network tests more reliable

该报错通常发生在 Transformers 测试套件或下载 Hub 资源时遇到网络瞬时故障（如 502/500/403 错误）。优先在下载 API 中启用自动重试机制，设置 try_times=3 和 try_sleep_secs=1 。

celebrityanime
2026年 7月 27日

AI 资讯

[RFC]: Hidden States Extraction

用户在使用 vLLM 进行模型推理时，需要获取中间层的隐藏状态（hidden states）用于以下目的：

celebrityanime
2026年 7月 24日

AI 资讯

CUDA out of memory

用户在 transformers 5.0.0.dev0（安装自 main 分支）中使用 AutoModelForCausalLM 配合 BitsAndBytesConfig 加载 4-bit 量化模型时，遇到 OOM。相同配置在 transformers 4.48 上可正常加载（约 9GB 显存），

celebrityanime
2026年 7月 24日

AI 资讯

RuntimeError: We could not revert some weight conversions because of offlading, and several weights needed for a single conversion operation living in different shard files. Try reducing `max_sh

用户使用 Transformers 5.13.0.dev0 从预训练加载 Qwen/Qwen3-30B-A3B 模型，设置了 `device_map="auto"` 并指定 `offload_folder`（磁盘卸载路径）。加载后调用 `model.save_pretrained("save_pat

celebrityanime
2026年 7月 24日

AI 资讯

RuntimeError: Already borrowed

该报错出现在 vLLM 服务化部署 Qwen3.5-122B-A10B-FP8 等大型 MoE 模型时，当大量并发请求（尤其是包含 image_url 内容的多模态请求）通过 /v1/chat/completions 接口发送，导致 EngineCore 进程崩溃。同一并发量下纯文本请求可以稳定运行

celebrityanime
2026年 7月 23日

AI 资讯

ImportError: cannot import name ‘DTensor’ from ‘torch.distributed.tensor’

用户在安装了 PyTorch 2.4.0 和最新版 `transformers` 后，尝试导入 `from transformers.distributed.sharding_utils import DtensorShardOperation` 时触发。该问题还会级联影响到所有间接导入 `shar

celebrityanime
2026年 7月 23日

AI 资讯

[activations] pytorch-1.11+ Tanh Gelu Approximation

用户在 HuggingFace Transformers 库中使用 gelu_new （即 ACT2FN["gelu_new"] ）激活函数时，发现 PyTorch 1.11+ 已内置了 Tanh GELU 近似实现。用户希望在 Transformers 中检测到 PyTorch ≥ 1.11 时，

celebrityanime
2026年 7月 23日

AI 资讯

[CI Failure]: LM Eval PCP (4xB200)

该问题在 vLLM 项目的 CI 流水线中被触发，具体场景为运行 evals/gsm8k 中的 test_gsm8k_correctness 测试用例，测试环境配置为 4 块 B200 GPU。用户在执行 PCP (Precision Calibration Profile) 结合 MLA (Mul

celebrityanime
2026年 7月 23日

AI 资讯

[Feature] Will there be any integration of using Flex-attention (and Paged attention)?

用户在 GitHub Issue 中询问 Hugging Face Transformers 库是否会集成 FlexAttention（基于 torch.compile 的高性能注意力机制，支持因果掩码、相对位置编码、Alibi、滑动窗口、PrefixLM、Tanh Soft-Capping 及 P

celebrityanime
2026年 7月 22日

AI 资讯

ValueError: Library `span-marker` is not supported yet, please open an issue on GitHub for us to add support.“`

用户在使用 Hugging Face Accelerate 的命令行工具估算第三方模型的内存占用时触发。具体命令为： accelerate estimate-memory stefan-it/span-marker-gelectra-large-germeval14 --dtypes float32

celebrityanime
2026年 7月 22日