一句话看懂:英伟达开源了 Nemotron 3.5 Transcribe,把转录、英译翻译和说话人识别合进一个可接受文本指令的语音模型,还放出了 84.4 万小时数据集 Granary v2。对开发者和企业来说,语音处理多了一个可自部署、可定制的开源选项。
事件核心:发生了什么
2026 年 10 月 28 日,英伟达发布 Nemotron 3.5 Transcribe。据 The Decoder 报道,该模型支持转录 40 种语言、在 31 种语言与英语之间互译,并在 13 种语言中识别说话人;单次可处理最长 1 小时、最多 8 名说话人的录音。
模型总参数 300 亿,但每步仅激活约 40 亿,因此可跑在单块英伟达 GPU 上,从 DGX Spark 到数据中心卡都在覆盖范围。官方称在 RTX PRO 6000 Blackwell Server Edition、NVFP4 精度下,处理 100 小时音频不到 3 分钟。使用者通过提示词指定任务,例如输出带说话人标签的转写、英文翻译或会议决策摘要。
评测方面,在 Hugging Face 英语 Open ASR 榜单上,其平均词错率 5.33%,在开源权重模型中排第一;Artificial Analysis 对比中得分 2.81%,接近更大的 Voxtral Small 的 2.77%,但激活参数约为后者的六分之一。VoiceArena 和 David AI 的测试显示,它在多人抢话场景和 21 种语言的说话人归属上表现领先。这些排名限定于素材给出的日期与任务条件。
为什么重要
语音转写长期按功能拆成多个模型:先转录,再翻译,再区分说话人。Nemotron 3.5 Transcribe 用一个模型加自然语言指令覆盖这些环节,降低了组合式管线的工程成本。更关键的是开源加单卡可跑,让需要数据不出内网的企业有了闭源云 API 之外的替代路径。
英伟达同时放出 Granary v2 数据集,规模从上一版约 64.3 万小时、25 种语言扩到 84.4 万小时、48 种语言,并附带构建工具。公司称该数据集与模型的训练数据并不完全一致。这等于把模型、数据和适配工具一起推向生态,强化开发者对英伟达推理硬件的依赖。
对用户/开发者/创作者的影响
开发者可以直接基于开源权重做私有化部署,用提示词控制输出格式,也能把药品名等专业词汇作为提示传入。素材中的医疗场景测试显示,针对印度医生和医学生录音做微调后,完整基准上的词错率从 30.8% 降到 11.8%;对未见过的说话人,单独报告的错误率从 22.44% 降到 12.17%。目前公开信息显示训练数据以合成语音为主,真实场景效果仍需自行验证。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
内容创作者和企业可以评估:会议记录、访谈整理、多语字幕等流程是否可以不再依赖多个 SaaS 服务,尤其在意数据合规的团队。
值得关注的后续
一是模型在真实口音、嘈杂环境和长音频上的稳定性是否与榜单一致;二是微调工具的实际易用性和算力门槛;三是闭源语音 API 厂商是否以降价或新功能回应这一开源方案。


