CUDA device-side assert triggered in 31 generation tests

问题场景

用户运行 Transformers 的 GPU CI 测试集 `run_models_gpu`，在 `generation` 相关集成测试中触发问题。失败集中在 `tests/generation/test_utils.py` 的多个测试项，例如 `DeferredStopCheckIntegrationTest` 下的多个用例和 `GenerationIntegrationTests::test_validate_assistant`，共 31 个测试报错。这些测试在 `setUp` 中将模型权重传输到 CUDA 设备时抛出异常。

报错原文

CUDA device-side assert triggered in 31 generation tests

torch.AcceleratorError: CUDA error: device-side assert triggered

Sticky error detected

原因分析

可能原因是此前某次 kernel 启动中存在越界索引访问，导致 CUDA 设备端断言触发；由于报错具有 Sticky error 特性，错误可能延迟到后续的 `.to(“cuda”)` 调用才被检测到，因此不能仅凭调用栈判断根因就在权重迁移步骤。Issue 将 #49962 列为相关修复线索，并说明该问题最终由 PR #50027 修复，具体修复内容需以 PR 为准。

环境排查

• 确认 Transformers 版本或 commit 是否包含 PR #50027 的修复。
• 确认 PyTorch 版本与 GPU CI 镜像固定的 2.14.0 是否一致。
• 确认 Python 版本，Issue 环境为 3.11.18。
• 确认 GPU 型号与数量，Issue 环境为 2× NVIDIA A10G 22 GiB。
• 确认是否运行在与 Issue 相同的 `run_models_gpu` 测试作业或多 GPU 环境下。
• 检查同批次其他 GPU 测试是否也出现 CUDA device-side assert，以判断是否为共同的上游触发点。

解决步骤

1. 查看当前 Transformers 版本或 commit，确认是否已包含 PR #50027 的修复。
2. 如果当前版本早于该修复，升级或切换到包含修复的版本。
3. 在相同 GPU 测试环境中重新运行受影响的 `generation` 测试，重点观察此前失败的 31 个用例。
4. 若仍出现同类报错，保留完整 CUDA 报错和测试节点 ID，重点排查报错前最近一次 kernel 调用，而不是只检查 `.to(“cuda”)`。

验证方法

重新运行 Issue 中列出的 `generation` 测试，确认不再出现 `torch.AcceleratorError: CUDA error: device-side assert triggered`，且 31 个此前失败的测试通过或不再触发同类 CUDA 断言。

参考来源

huggingface/transformers #50011

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。