微软开源VibeVoice语音模型家族：ASR可一次转录60分钟音频，并新增流式与CPU版本

一句话看懂：微软在 GitHub 上维护着一套开源语音模型 VibeVoice，其 ASR 模型能单次处理 60 分钟长音频并输出“谁在何时说了什么”的结构化转写；2026 年又加入了流式识别和面向 CPU 的边缘推理版本。

事件核心：发生了什么

VibeVoice 是微软推出的开源语音 AI 模型家族，同时覆盖 TTS（文本转语音）和 ASR（语音识别）。其中 VibeVoice-ASR 以 7B 参数版本开源，支持在 64K token 上下文内一次性处理最长 60 分钟音频，联合完成识别、说话人分离和时间戳标注，并允许用户提供自定义热词以提升专业词汇识别准确率。官方称其原生支持 50 多种语言，同时提供微调代码和 vLLM 推理支持。

2026 年的两次更新值得注意：7 月发布的 VibeVoice-ASR-BitNet 针对 CPU 端推理，通过 I8_S + I2_S 异构量化把模型从 4.62 GB 压缩到 1.58 GB，在 3 个以上 CPU 线程上实现 RTF < 1 的实时推理；9 月发布的 VibeVoice-ASR-Streaming 则支持边说边转写，覆盖 10 种语言和自定义热词。更早的 3 月，该模型已接入 Azure AI Foundry Labs 和 Hugging Face Transformers。TTS 侧，VibeVoice-Realtime-0.5B 于 2025 年 12 月开源，支持流式文本输入和长语音生成。

为什么重要

长音频转写长期依赖切块处理，容易丢失全局上下文、造成说话人身份错乱。VibeVoice 用 7.5 Hz 超低帧率的声学与语义 tokenizer 控制序列长度，再结合 LLM 与扩散头生成结果，这是其一次处理一小时的工程基础。对开源语音生态而言，微软同时提供了微调代码、vLLM 服务路径和 CPU 推理引擎，让长音频 ASR 从集中式 GPU 服务延伸到边缘设备，这在会议记录、播客转写等场景有实际意义。

另一个信号是边界管理：2025 年 9 月，微软表示发现 VibeVoice-TTS 代码被以不符合初衷的方式使用，已将这部分代码从仓库移除。这说明语音克隆类能力在开源与滥用风险之间仍存在张力，目前公开信息显示 TTS 相关快速体验入口处于关闭状态。

对用户/开发者/创作者的影响

开发者可以通过 Hugging Face 获取模型权重，用 Transformers 或 vLLM 集成；需要实时字幕、客服质检的团队可评估流式版本；没有 GPU 的团队则可关注 BitNet 版本在 CPU 上的实际延迟和识别率。创作者在长访谈、播客的“谁说了什么”整理上多了一个可选工具，但热词配置和说话人分离效果仍需按自身素材实测。