Float16 issue

快速结论：这个 Float16 issue 通常会出现在 Faster Whisper 调用 CTranslate2 加载模型时，程序把权重推断为 float16，但当前 GPU/后端不支持高效的 float16 计算。优先排查显卡是否具备 Tensor Cores，以及 transcribe 时指定的 compute_type。

适用环境：Issue 中用户环境为 Faster Whisper + CTranslate2，CUDA 11.8、cuDNN 9，使用 conda 虚拟环境，系统 PATH 中可运行 nvcc –version。其余 Python、PyTorch、操作系统、显卡型号未在 Issue 中明确。

最快修复方案：在调用 model.transcribe(audio) 时显式指定 compute_type，例如 compute_type=float32；如果 GPU 支持，也可以尝试 int8。这是评论中明确给出的处理方式。

注意事项：该提示本质上可能只是 warning，不一定是致命错误；但评论中也有人表示遇到了 Python 的 ValueError。如果换成 int8，有用户反馈在未指定语言时识别效果会变差，可能把荷兰语误判为冰岛语、瑞典语、丹麦语或德语等。Issue 中未确认所有 GPU 都能通过同一配置解决。

问题场景

用户在 Faster Whisper 中调用 WhisperModel("small") 并执行 model.transcribe(audio) 时，看到 CTranslate2 输出关于 float16 计算类型的警告。Issue 标题为 “Float16 issue”，正文中的现象是模型权重被自动转换为 float32 compute type。

报错原文

[ctranslate2] [thread 28968] [warning] The compute type inferred from the saved model is float16, but the target device or backend do not support efficient float16 computation. The model weights have been automatically converted to use the float32 compute type instead.

评论中还出现了如下相关描述与报错说法：

It's a `ValueError` in Python. That's not a warning.

原因分析

可能原因是当前 GPU 没有 Tensor Cores，或者当前 CTranslate2 CUDA 后端不支持高效的 float16 计算。因此 CTranslate2 从已保存模型推断出的 float16 compute type 无法直接高效运行，于是自动把模型权重转换为 float32 compute type。Issue 中也有评论明确指出 “GPU doesn’t have Tensorcores”，并把标题补充为 “Fixed : GPU doesn’t have Tensorcores”。不过后续评论认为这不应由 faster-whisper 本身负责，而是 CTranslate2 的行为。

环境排查

确认 GPU 是否具备 Tensor Cores；Issue 中明确提到显卡可能没有 Tensor Cores。
确认 CUDA 版本：Issue 中用户为 CUDA 11.8。
确认 cuDNN 版本：Issue 中用户为 cuDNN 9。
确认是否使用 conda 虚拟环境，以及 CUDA 是否在系统 PATH 中可调用，Issue 中用户执行过 nvcc --version。
确认 Faster Whisper / CTranslate2 实际使用的 compute_type；Issue 中模型默认推断为 float16。
其他依赖版本、Python 版本、操作系统和具体显卡型号在 Issue 中没有明确证据，需要按本机环境自行核对。

解决步骤

在 transcribe 时显式指定 compute_type，避免使用模型推断出的 float16。评论中给出的写法是：segments, info = model.transcribe(audio, compute_type=float32)。
如果 GPU 支持 int8，可以改用 int8 量化模型；评论中明确提到 “Or int8 instead of float32 if your GPU supports it.”。
有用户反馈切换到 int8 量化模型后可以工作，但建议在调用时指定语言；否则识别语言可能不稳定，评论中称会“一直把荷兰语识别成冰岛语、瑞典语、丹麦语或德语”。
如果问题被判断为来自 CTranslate2 而不是 faster-whisper 本身，可以转向查看 CTranslate2 的相关 issue；Issue 评论中明确写了 “It’s not an issue caused by faster-whisper itself. It’s ctranslate2.”。
不要直接把 Batch 脚本中的设置当作通用修复；评论里提到的 CT2_CUDA_ALLOW_FP16=1、CT2_COMPUTE_TYPE=float16 是针对其他工具场景的尝试，Issue 中未验证其适用于 Faster Whisper 当前问题。

验证方法

重新运行 transcribe 后，确认不再出现 “The compute type inferred from the saved model is float16…” 这条 warning，并且转写流程能正常返回 segments 与 info。如果改用 int8，还需要检查转写文本的语言和准确率是否符合预期。