一句话看懂:Edge0 发布开源权重语音克隆模型 Audio8-TTS-Realistic,参数仅 0.6B,却能凭 1 段参考音频和文字稿做零样本克隆,支持 23 种语言。小体积、Apache 2.0 许可,让它更适合落地部署和微调。
事件核心:发生了什么
Edge0 推出 Audio8-TTS-Realistic,这是 Audio8 语音合成家族的第二款 0.6B 模型,沿用前代 Audio8-TTS-Preview-0.6b 的 Transformers 推理接口。模型主参数为 601M(不含编解码器),仓库里同时打包了 44.1 kHz 神经音频编解码器、tokenizer、processor 和自定义代码,权重与代码按 Apache 2.0 发布。相比上一代,新增阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语共 12 种语言;没有参考音频时,它也可以直接生成语音。
架构上采用受 Fish Audio S2 Pro 启发的双自回归设计:慢分支基于 Qwen2.5 0.5B,每步同时预测文本 token 和首个音频码本;4 层快分支并行预测其余 9 个码本。训练分三阶段,先用多语言 SFT,再用 WER 权重 0.7、SIM 权重 0.3 的 GRPO,最后用基于 WavLM-large 训练的真实感打分器做 GRPO,并加身份擦除损失和时长惩罚,避免模型靠放慢语速刷分。
为什么重要
当前开源 TTS 的竞争点正从“能不能克隆”转向“多语言精度和部署成本能不能兼得”。Edge0 自报在 CV3 九语言测试上平均错误率 4.86%,低于 Qwen3-TTS-1.7B 的 7.73%,也优于 VoxCPM2 的 5.35%;MiniMax 24 语言测试上自报 5.89%。但这些是作者自报结果,评测管线和文本归一化与竞品不完全一致,不能当作固定排名。Higgs TTS 3 在 CV3 和 MiniMax 上仍更低,说明 4B 级模型依然有优势。真正值得注意的是 0.6B 这一体积——按论文数据,INT4 ONNX 在 Apple M2 CPU 上峰值内存约 1.1 至 1.2 GiB,推荐 CUDA GPU 推理,官方称在 NVIDIA H20 上以 BF16 做过验证。
对用户/开发者/创作者的影响
对开发者,Apache 2.0 加小参数意味着更容易在单卡甚至边缘设备上微调和部署,多语言客服、配音工具的成本门槛会降低。创作者可以用一段参考音频快速克隆音色,但模型也有明显短板:自报泰语 CV3 WER 为 48.57%,粤语 MiniMax CER 为 31.35%,低资源语言质量仍需实测。另外目前没有公开的 Realistic 版 ONNX 导出,想走 CPU 路线的人要等。
AI 工具推荐
想把多个 AI 模型放在一个入口?
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。
推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。
值得关注的后续
一是第三方独立复测能否接近自报数据,尤其是泰语和粤语以外的新增语言;二是 ONNX 导出和 CPU 推理何时公开;三是 MiniMax 等大模型阵营是否会跟进小尺寸多语言版本,压低开源 TTS 的价格与算力门槛。


