ValueError: Failed to apply Qwen3OmniMoeProcessor on data={‘text’: ‘

该报错通常出现在 vLLM 使用 Qwen3-Omni-30B-A3B 模型做视频推理、且输入视频没有音轨时。优先排查视频是否真的缺少音频流,并确认 vLLM 是否已包含 PR #48420 的修复(即无音频时回退 use_audio_in_video=False )。

快速结论:该报错通常出现在 vLLM 使用 Qwen3-Omni-30B-A3B 模型做视频推理、且输入视频没有音轨时。优先排查视频是否真的缺少音频流,并确认 vLLM 是否已包含 PR #48420 的修复(即无音频时回退 use_audio_in_video=False)。

适用环境:vLLM(涉及 Qwen3OmniMoeProcessorQwen3OmniMoeThinker);模型:Qwen3-Omni-30B-A3B;输入:无音轨的视频。Issue 中未提供 Python、CUDA、显卡等环境信息。

最快修复方案:升级到包含 PR #48420 修复的 vLLM 版本,或在本地应用该补丁。该 PR 的修复逻辑是:当视频没有提取到音频时,将 use_audio_in_video 回退为 False,而非继续使用 True。如果暂时无法升级,也可尝试给视频添加一条静音音轨后再推理(此为推测方案,可优先尝试但未在 Issue 中验证)。

注意事项:PR #48420 在 Issue 评论中已被作者确认修复并准备了回归测试,但 Issue 中未给出该补丁是否已合并进正式 release;因此“升级到包含此 PR 的版本”需要自行确认目标版本的 changelog。另外,给视频补音轨的方式可能改变视频编码或长度,需确认不影响模型输入。

问题场景

在 vLLM 中运行 Qwen3-Omni-30B-A3B 模型进行视频推理,当输入视频不含音频轨道时,vLLM 调用 HF 的 Qwen3OmniMoeProcessor 处理视频 token(如 <|video_pad|>)时抛出 ValueError,推理中断。

报错原文

File "/usr/local/lib/python3.12/dist-packages/vllm/model_executor/models/qwen3_omni_moe_thinker.py", line 1274, in _call_hf_processor
    hf_inputs = super()._call_hf_processor(
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/dist-packages/vllm/model_executor/models/qwen2_5_omni_thinker.py", line 485, in _call_hf_processor
    hf_inputs = super()._call_hf_processor(
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/dist-packages/vllm/multimodal/processing/processor.py", line 1110, in _call_hf_processor
    return self.info.ctx.call_hf_processor(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/dist-packages/vllm/multimodal/processing/context.py", line 298, in call_hf_processor
    raise ValueError(msg) from exc
ValueError: Failed to apply Qwen3OmniMoeProcessor on data={'text': '', 'videos': [array([[[[170, 166, 160, ..., 171, 166, 163],
...
],
         [107, 107, 107, ..., 153, 156, 159]]]],
      shape=(16, 3, 480, 256), dtype=uint8)]} with kwargs={'do_resize': False, 'use_audio_in_video': True, 'return_tensors': 'pt'}

原因分析

参考来源

vllm-project/vllm #48383

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 16795

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注