英伟达开源Nemotron 3.5 Transcribe:一个模型做转录、说话人识别与翻译

英伟达在 Hugging Face 发布开源权重模型 Nemotron 3.5 Transcribe,把转录、说话人区分、翻译和音频问答合进同一个模型,并开放 Granary v2 数据管线与微调方案。其意义在于:多语言语音处理从“单一转录”走向可提示、可适配的通用音频模型,且走开源路线。

一句话看懂:英伟达在 Hugging Face 发布开源权重模型 Nemotron 3.5 Transcribe,把转录、说话人区分、翻译和音频问答合进同一个模型,并开放 Granary v2 数据管线与微调方案。其意义在于:多语言语音处理从“单一转录”走向可提示、可适配的通用音频模型,且走开源路线。

事件核心:发生了什么

2026 年 10 月 28 日,英伟达在 Hugging Face Blog 公布了 Nemotron 3.5 Transcribe,同步上线 Hugging Face 和 ModelScope。据官方描述,单个检查点支持 40 种语言转录、13 种语言的说话人归属,并可将 31 种语言与英语互译;单条音频最长约 1 小时,最多标记 8 位说话人。开发者可用自然语言提示词控制输出,例如要求翻译成英语、标注说话人,或直接提问“会议做了哪些决定”。

配套发布的还有开源数据管线 Granary v2 和 NeMo Speech 微调工具。官方给出一项医疗场景案例:在留出说话人上,微调后词错误率相对最佳提示词方案下降 45.8%。

为什么重要

此前多语言语音模型通常各管一摊:转录模型不区分说话人,翻译要另接模型,音频问答又是另一套系统。Nemotron 3.5 Transcribe 把这几项放进一个开源权重检查点,并用提示词切换任务,降低了搭建语音应用的集成成本。对开源阵营而言,这也是一次正面竞争:英伟达称其在 Hugging Face Open ASR Leaderboard 英语榜的开放权重模型中排名第一,平均词错误率 5.33%;多语言七语种平均 4.62%,长音频平均 10.98%。说话人归属方面,官方称其在 David AI 21 语种评测和 VoiceArena 14 系统对比中排名第一。这些均为发布时点的评测结果,并非长期排名。

对用户/开发者/创作者的影响

开发者可以先用提示词试探领域术语,例如在医疗转写中指定 HbA1c、metformin 等词,并要求仅在音频支持时使用,从而减少专用微调的前期成本。需要本地部署的团队可等待即将推出的量化版本,官方提到 RTX Spark、DGX Spark、Jetson AGX Thor 及 Blackwell 数据中心 GPU。内容创作者和会议工具厂商则可利用词级时间戳做回放字幕,Agora 已在课堂回放场景中演示类似用法。需注意:任务支持因语言而异,音频问答仅以英语训练;官方也提醒要人工抽查人名、说话人切换和答案。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是量化版本的实际发布时间与本地推理表现;二是第三方在真实口音、噪声场景下复现上述评测的程度;三是 Granary v2 数据管线和微调方案能否被社区广泛采用,形成围绕英伟达语音栈的开发者生态。

来源:Hugging Face Blog

celebrityanime
celebrityanime
文章: 30755

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注