分类: AI 工具排错

cuda out of memory

cuda out of memory

这个报错出现在 Windows 上使用 Faster Whisper 加载 CUDA 模型转写音频时,进程会在模型卸载(变量离开作用域或手动释放)的瞬间以 -1073740791 (0xC0000409) 退出;如果加载显存过大的模型也可能直接出现 cuda out of memory。优先排查的方

Major Bug in parallel generation / left padding.

Major Bug in parallel generation / left padding.

这个报错通常出现在对多模态(含图片)提示词做左填充(left padding)后调用 generate 的场景,且当填充后的总长度满足 total_padded_length % 32 == 1 时触发。优先排查填充后总长度是否命中该条件,并对比同一序列在无填充与有填充下的 prefill logi