issue: Noise clips stay in the Realtime Voice conversation and confuse later answers

这个 issue 出现在 Open WebUI 的 Realtime Voice(实时语音)通话里:当环境噪音被语音检测误判成用户说话、但转写结果为空时,Open WebUI 虽然不会在聊天里显示或回复这条消息,但该噪音片段仍留在 OpenAI 侧的会话上下文中,模型在后续每一轮都会重新“听到”它,

快速结论:这个 issue 出现在 Open WebUI 的 Realtime Voice(实时语音)通话里:当环境噪音被语音检测误判成用户说话、但转写结果为空时,Open WebUI 虽然不会在聊天里显示或回复这条消息,但该噪音片段仍留在 OpenAI 侧的会话上下文中,模型在后续每一轮都会重新“听到”它,最终导致回答混乱。优先排查方向是 Realtime Voice 的输入噪音抑制/语音检测配置。

适用环境:Open WebUI v0.12.0(issue 作者反馈在当前 dev 版本上现象一致);使用 OpenAI Realtime Voice 通话。issue 中未提供操作系统、Python、CUDA、显卡或其它依赖版本信息。

最快修复方案:暂无确认的一步修复方案。issue 本身未给出已验证的修复,但被关联的 #32249 提到 OpenAI 的输入噪音抑制(input noise reduction)处于关闭状态,是导致风噪/车流噪声被当作语音的同一路径,可优先尝试在 Realtime Voice 通话音频中开启噪音抑制。

注意事项:“开启噪音抑制”来自关联 issue #32249 的描述,并非本 issue 中已验证的结论,属于可优先尝试的方向;本 issue 报告的是会话上下文被污染(空用户轮次残留),即使噪音不再被采集,已进入上下文的片段如何处理仍无明确证据说明。

问题场景

用户在 Open WebUI 中启用 OpenAI Realtime Voice 并发起通话时触发该问题。用户在麦克风前制造噪音(例如对着麦克风吹气)但不说话,Open WebUI 不会在聊天中生成任何消息。然而该噪音片段仍保留在通话的会话中(OpenAI 侧),语音模型在之后的每一轮对话里都会再次接收它。经过几次风噪后,模型上下文中堆积了多个空的用户轮次,导致其后续回答变得混乱。

报错原文

issue: Noise clips stay in the Realtime Voice conversation and confuse later answers

原因分析

可能原因:OpenAI Realtime 侧的输入噪音抑制(input noise reduction)未开启,使风噪、环境噪音被语音检测当成语音输入;虽然这类输入转写为空、因此 Open WebUI 不会保存消息或作答,但对应片段仍留在通话会话上下文中,被语音模型在后续轮次重复听到。关联的 #32249 明确指出同一 Realtime Voice 路径上 OpenAI 的输入噪音抑制处于关闭状态,会令风噪/车流噪声被语音检测与转写视为语音,与本次“噪音片段残留污染上下文”的现象直接相关。

环境排查

  • 确认 Open WebUI 版本:issue 中报告为 v0.12.0,且当前 dev 版本上现象一致。
  • 确认是否使用 OpenAI 作为 Realtime Voice 提供方。
  • 确认 Realtime Voice 通话音频的噪音抑制(noise reduction)是否已开启。
  • issue 中未提供操作系统、Python、CUDA、PyTorch、显卡或其它依赖版本,暂无需核对。

解决步骤

  1. 先确认现象:在 Realtime Voice 通话中制造几次不含语音的噪音(如吹麦克风),观察聊天中是否出现消息;按 issue 描述,此时不会出现消息,但噪音片段可能已进入通话会话上下文。
  2. 随后提出一个问题,观察模型回答是否因先前的空用户轮次而变得混乱,以确认上下文是否被污染。
  3. 可优先尝试开启 Realtime Voice 通话音频的噪音抑制(依据关联 issue #32249 的描述),减少风噪/环境噪音被语音检测误判为语音的情况,从源头降低空片段进入上下文的概率。请注意该方向尚未在本 issue 中被验证为最终修复。
  4. 若问题持续,关注 #32249(开启 Realtime Voice 噪音抑制)和 #32248(背景噪音打断助手)的处理进展,或在原始 issue 下补充版本与复现信息。

验证方法

在开启噪音抑制后,重新发起 Realtime Voice 通话,重复制造几次无语音的噪音,然后提问:如果模型不再把先前噪音当成空用户轮次、回答保持连贯正常,则说明症状得到缓解。同时确认聊天中依旧不会因噪音生成消息,且后续回答不受影响。

参考来源

open-webui/open-webui #32250

关联 issue:#32249 feat: turn on noise reduction for Realtime Voice call audio、#32248 issue: Wind or background noise cuts off the assistant mid-sentence in Realtime Voice calls

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

这个方案解决了吗?

celebrityanime
celebrityanime
文章: 29110

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注