标签: Transformer

CUDA out of memory

CUDA out of memory

用户在 transformers 5.0.0.dev0(安装自 main 分支)中使用 AutoModelForCausalLM 配合 BitsAndBytesConfig 加载 4-bit 量化模型时,遇到 OOM。相同配置在 transformers 4.48 上可正常加载(约 9GB 显存),