英伟达开源 Nemotron 3.5 Transcribe:单 GPU 跑转录、翻译与说话人识别

英伟达开源了 Nemotron 3.5 Transcribe,把转录、英译翻译和说话人识别合进一个可接受文本指令的语音模型,还放出了 84.4 万小时数据集 Granary v2。对开发者和企业来说,语音处理多了一个可自部署、可定制的开源选项。

一句话看懂:英伟达开源了 Nemotron 3.5 Transcribe,把转录、英译翻译和说话人识别合进一个可接受文本指令的语音模型,还放出了 84.4 万小时数据集 Granary v2。对开发者和企业来说,语音处理多了一个可自部署、可定制的开源选项。

事件核心:发生了什么

2026 年 10 月 28 日,英伟达发布 Nemotron 3.5 Transcribe。据 The Decoder 报道,该模型支持转录 40 种语言、在 31 种语言与英语之间互译,并在 13 种语言中识别说话人;单次可处理最长 1 小时、最多 8 名说话人的录音。

模型总参数 300 亿,但每步仅激活约 40 亿,因此可跑在单块英伟达 GPU 上,从 DGX Spark 到数据中心卡都在覆盖范围。官方称在 RTX PRO 6000 Blackwell Server Edition、NVFP4 精度下,处理 100 小时音频不到 3 分钟。使用者通过提示词指定任务,例如输出带说话人标签的转写、英文翻译或会议决策摘要。

评测方面,在 Hugging Face 英语 Open ASR 榜单上,其平均词错率 5.33%,在开源权重模型中排第一;Artificial Analysis 对比中得分 2.81%,接近更大的 Voxtral Small 的 2.77%,但激活参数约为后者的六分之一。VoiceArena 和 David AI 的测试显示,它在多人抢话场景和 21 种语言的说话人归属上表现领先。这些排名限定于素材给出的日期与任务条件。

为什么重要

语音转写长期按功能拆成多个模型:先转录,再翻译,再区分说话人。Nemotron 3.5 Transcribe 用一个模型加自然语言指令覆盖这些环节,降低了组合式管线的工程成本。更关键的是开源加单卡可跑,让需要数据不出内网的企业有了闭源云 API 之外的替代路径。

英伟达同时放出 Granary v2 数据集,规模从上一版约 64.3 万小时、25 种语言扩到 84.4 万小时、48 种语言,并附带构建工具。公司称该数据集与模型的训练数据并不完全一致。这等于把模型、数据和适配工具一起推向生态,强化开发者对英伟达推理硬件的依赖。

对用户/开发者/创作者的影响

开发者可以直接基于开源权重做私有化部署,用提示词控制输出格式,也能把药品名等专业词汇作为提示传入。素材中的医疗场景测试显示,针对印度医生和医学生录音做微调后,完整基准上的词错率从 30.8% 降到 11.8%;对未见过的说话人,单独报告的错误率从 22.44% 降到 12.17%。目前公开信息显示训练数据以合成语音为主,真实场景效果仍需自行验证。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

内容创作者和企业可以评估:会议记录、访谈整理、多语字幕等流程是否可以不再依赖多个 SaaS 服务,尤其在意数据合规的团队。

值得关注的后续

一是模型在真实口音、嘈杂环境和长音频上的稳定性是否与榜单一致;二是微调工具的实际易用性和算力门槛;三是闭源语音 API 厂商是否以降价或新功能回应这一开源方案。

来源:The Decoder AI News

celebrityanime
celebrityanime
文章: 30839

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注