NVIDIA发布Nemotron 3.5 Transcribe:开源30B MoE语音模型,支持40种语言与1小时音频

NVIDIA 公开了 Nemotron 3.5 Transcribe 的开源权重,这是一个面向转写的语音大模型,单个模型即可处理 40 种语言、最长 1 小时的录音,并通过文本指令切换输出风格。

一句话看懂:NVIDIA 公开了 Nemotron 3.5 Transcribe 的开源权重,这是一个面向转写的语音大模型,单个模型即可处理 40 种语言、最长 1 小时的录音,并通过文本指令切换输出风格。

事件核心:发生了什么

NVIDIA 于 2026 年 10 月底发布 Nemotron 3.5 Transcribe。官方技术报告称,模型总参数约 34B、激活参数约 4.3B,采用混合 Mamba-Transformer 的 MoE 架构,上下文长度 65,536 token,音频上限 1 小时。它由可训练的 0.6B ASR 编码器与冻结的 Nemotron 3 Diarization 模块并行工作,说话人信息每 80ms 注入特征,因此能同时给出转写、说话人标签和时间戳,并支持逐字、书面化、翻译、结合上下文实体表等多种输出模式。权重以 BF16、FP8、NVFP4 和 GGUF 形式发布,采用允许商用的 OpenMDW-1.1 许可证。

为什么重要

过去一套完整转写流程通常要拼接 ASR、说话人分离和对齐三类工具,Nemotron 3.5 Transcribe 试图用单个开源模型覆盖这些环节,对开发者意味着更少的组件和更低的集成成本。据 NVIDIA 自报数据,它在 9 个公开英文 Open ASR 集上平均 WER 为 4.71%, multilingual 集为 4.62%,均优于 Qwen3-ASR-1.7B,但落后于部分商业 API,例如 OtterAI speech-v3.1 的 3.88%。需要注意的是,这些结果均为厂商自报,且属特定评测条件,不代表长期排名。

对用户/开发者/创作者的影响

对开发者而言,最直接的吸引力是部署门槛:BF16 需单张 H100 80GB,FP8 检查点约 35GB,NVFP4 约 21GB,可在 RTX 5090 上运行,并支持 vLLM、Transformers 和 SGLang-Omni 等运行时,vLLM 路径提供 OpenAI 兼容接口。不过 NVIDIA 也提示,NIM 中的高性能加速尚未开源,发布日 vLLM 路径约慢一倍。创作者和企业可将它用于会议记录、访谈整理和带说话人标注的长音频转写,但中文远场会议仍是短板:AliMeeting 上 cpCER 达 34.95%,且目前为离线模型,尚无实时流式能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是 NIM 的高吞吐推理优化何时开源,这决定社区能否复现官方速度;二是中文、多说话人会议场景的准确率能否通过微调或后续版本改善;三是商业 API 厂商是否会在价格或多语言能力上跟进。目前公开信息显示,模型定位仍是转写专用,而非通用语音助手。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 30946

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注