网易有道开源Confucius4-R2T2,稳定前缀流式ASR让实时转写不再改口

网易有道基于Qwen3-ASR-1.7B后训练出流式语音识别模型Confucius4-R2T2,主打“已输出内容永不修改”,并开源权重与代码。

一句话看懂:网易有道基于Qwen3-ASR-1.7B后训练出流式语音识别模型Confucius4-R2T2,主打“已输出内容永不修改”,并开源权重与代码。

事件核心:发生了什么

据Hugging Face Papers 2026年11月4日收录的论文摘要,网易有道提出Confucius4-R2T2(Real Real-Time Transcription),这是一个稳定前缀流式ASR模型。其做法是在Qwen3-ASR-1.7B基础上,用1500小时中英文音频做后训练,同时冻结预训练音频编码器和投影层。核心概念是“最长稳定前缀(LSP)”,作者证明该前缀在顺序上单调、与全音频输出一致,学习LSP标签即可把全上下文模型转为稳定流式模型,无需改动架构。模型权重和代码已在Hugging Face与GitHub开源。

为什么重要

流式语音识别正被翻译器和语音Agent等机器消费,每个token一出现就可能触发动作,后续被改写的token意味着返工或错误操作。R2T2针对的正是这一痛点:以稳定性换取低延迟,同时尽量接近基座模型的全上下文质量。目前公开信息显示,摘要称其收益可扩展到后训练语言之外,但该结论尚未经全文实验核验,也不代表产品已上线。

对用户/开发者/创作者的影响

对开发者,权重和代码开源降低了复现门槛,可评估将其接入实时字幕、同传、语音Agent等流水线;对普通用户,稳定文本意味着实时转写更少“跳字”,但实际体验取决于延迟、准确率与算力成本。素材为论文摘要,未提供完整评测数据,选型时仍需自行验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是开源社区是否复现“稳定前缀”带来的准确率与延迟表现;二是该方案能否被集成进网易有道现有语音产品;三是其他ASR厂商是否跟进类似稳定输出路线,以及推理成本是否适合端侧部署。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 33660

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注