Edge0 开源 0.6B 语音克隆模型 Audio8-TTS-Realistic,支持 23 种语言

Edge0 发布开源权重语音克隆模型 Audio8-TTS-Realistic,参数仅 0.6B,却能凭 1 段参考音频和文字稿做零样本克隆,支持 23 种语言。小体积、Apache 2.0 许可,让它更适合落地部署和微调。

一句话看懂:Edge0 发布开源权重语音克隆模型 Audio8-TTS-Realistic,参数仅 0.6B,却能凭 1 段参考音频和文字稿做零样本克隆,支持 23 种语言。小体积、Apache 2.0 许可,让它更适合落地部署和微调。

事件核心:发生了什么

Edge0 推出 Audio8-TTS-Realistic,这是 Audio8 语音合成家族的第二款 0.6B 模型,沿用前代 Audio8-TTS-Preview-0.6b 的 Transformers 推理接口。模型主参数为 601M(不含编解码器),仓库里同时打包了 44.1 kHz 神经音频编解码器、tokenizer、processor 和自定义代码,权重与代码按 Apache 2.0 发布。相比上一代,新增阿拉伯语、芬兰语、印地语、印尼语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语共 12 种语言;没有参考音频时,它也可以直接生成语音。

架构上采用受 Fish Audio S2 Pro 启发的双自回归设计:慢分支基于 Qwen2.5 0.5B,每步同时预测文本 token 和首个音频码本;4 层快分支并行预测其余 9 个码本。训练分三阶段,先用多语言 SFT,再用 WER 权重 0.7、SIM 权重 0.3 的 GRPO,最后用基于 WavLM-large 训练的真实感打分器做 GRPO,并加身份擦除损失和时长惩罚,避免模型靠放慢语速刷分。

为什么重要

当前开源 TTS 的竞争点正从“能不能克隆”转向“多语言精度和部署成本能不能兼得”。Edge0 自报在 CV3 九语言测试上平均错误率 4.86%,低于 Qwen3-TTS-1.7B 的 7.73%,也优于 VoxCPM2 的 5.35%;MiniMax 24 语言测试上自报 5.89%。但这些是作者自报结果,评测管线和文本归一化与竞品不完全一致,不能当作固定排名。Higgs TTS 3 在 CV3 和 MiniMax 上仍更低,说明 4B 级模型依然有优势。真正值得注意的是 0.6B 这一体积——按论文数据,INT4 ONNX 在 Apple M2 CPU 上峰值内存约 1.1 至 1.2 GiB,推荐 CUDA GPU 推理,官方称在 NVIDIA H20 上以 BF16 做过验证。

对用户/开发者/创作者的影响

对开发者,Apache 2.0 加小参数意味着更容易在单卡甚至边缘设备上微调和部署,多语言客服、配音工具的成本门槛会降低。创作者可以用一段参考音频快速克隆音色,但模型也有明显短板:自报泰语 CV3 WER 为 48.57%,粤语 MiniMax CER 为 31.35%,低资源语言质量仍需实测。另外目前没有公开的 Realistic 版 ONNX 导出,想走 CPU 路线的人要等。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是第三方独立复测能否接近自报数据,尤其是泰语和粤语以外的新增语言;二是 ONNX 导出和 CPU 推理何时公开;三是 MiniMax 等大模型阵营是否会跟进小尺寸多语言版本,压低开源 TTS 的价格与算力门槛。

来源:MarkTechPost Research

celebrityanime
celebrityanime
文章: 31244

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注