快速结论:该报错通常发生在使用 Transformers 的 Wav2Vec2 序列分类模型做回归任务时:将 num_labels 设为 1 并传入浮点标签,模型却仍走 CrossEntropyLoss,因此报错 RuntimeError: expected scalar type Long but found Float。优先确认 Wav2Vec2ForSequenceClassification 的损失函数实现是否已包含 num_labels == 1 的 MSE 分支。
适用环境:Issue 中确认的工具为 Transformers,仓库提交 42cd3d9 可复现,提交 f33d91e 经阅读源码确认仍调用 CrossEntropyLoss;Issue 未提供操作系统、Python、CUDA、显卡或 PyTorch 版本信息。
最快修复方案:暂无确认的一步修复方案。Issue 提出者使用本地补丁,将 Wav2Vec2 序列分类改为使用共享的序列分类损失,并同步更新依赖的模型实现,其复现脚本在该补丁下通过;该方案当时尚待合并,未经官方发布验证,可优先尝试。
注意事项:Issue 原文标题与正文为 “No MSELoss implementation”,官方向导建议参考 BERT 的 loss/labels 逻辑;但 issue 中未给出发版版本、补丁 diff 或合并结果,因此不要直接假定最新版已修复,应先检查所装版本源码。修复后还需回归验证多分类交叉熵结果未受影响。
问题场景
用户通过 AutoModelForAudioClassification.from_pretrained("facebook/wav2vec2-base", num_labels=1) 加载 Wav2Vec2 做音频序列回归,期望在 num_labels == 1 时计算 MSELoss,但模型前向仍使用 CrossEntropyLoss,传入浮点标签时类型不匹配。
报错原文
RuntimeError: expected scalar type Long but found Float
loss_fct = CrossEntropyLoss()
loss = loss_fct(logits.view(-1, self.config.num_labels), labels.view(-1))
原因分析
可能原因:modeling_wav2vec2.py 中 Wav2Vec2ForSequenceClassification 的 forward 在 labels is not None 时固定调用 CrossEntropyLoss,没有按文档所述在 config.num_labels == 1 时切换到 MSE 回归损失。而 CrossEntropyLoss 要求目标标签为 LongTensor 类别索引,回归标签通常是浮点数,因此出现 dtype 不匹配。
环境排查
- 确认 Transformers 的安装版本,以及
modeling_wav2vec2.py中序列分类损失实现是否包含num_labels == 1的 MSE 分支。 - 确认模型的
config.num_labels取值:为 1 时应按回归处理,大于 1 时应按多分类处理。 - 确认标签 dtype:回归标签为浮点数;多分类标签为整数类别索引。
- 核对 Wav2Vec2 文档 中关于 MSE / Cross-Entropy 的说明,判断文档行为与源码是否一致。
- Issue 未提供 Python、CUDA、PyTorch、显卡信息,排查时无需据此设定固定版本。
解决步骤
- 先用最小脚本复现:构造
Wav2Vec2Config(num_labels=1)和Wav2Vec2ForSequenceClassification,传入torch.randn(2, 16000)的input_values与浮点labels,确认是否抛出上述RuntimeError。 - 阅读当前版本
modeling_wav2vec2.py中Wav2Vec2ForSequenceClassification.forward的 loss 分支,确认是否只有CrossEntropyLoss。 - 可优先尝试 Issue 提出者的本地补丁思路:参考 BERT 的 loss/labels 逻辑,将 Wav2Vec2 序列分类改为共享的序列分类损失,并同步更新依赖该损失的模型实现。
- 修改后重新运行复现脚本,并补测
num_labels > 1的整数标签场景,确认多分类仍得到预期的交叉熵损失。 - 若不方便改源码,只能调整训练方式:把回归任务转成离散化分类并用整数标签,这会改变任务语义,需自行评估,不是 Issue 验证过的修复。
验证方法
在补丁版本下运行 Issue 中的复现脚本,使用 torch.testing.assert_close(outputs.loss, torch.nn.functional.mse_loss(outputs.logits.squeeze(-1), labels)) 断言回归损失与 MSE 一致;再用整数类别标签跑多分类场景,确认交叉熵损失正常且未抛 dtype 错误。
参考来源
huggingface/transformers #18552
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
这个方案解决了吗?
可以继续搜索完整报错,或查看同一工具的其他排查指南。


