Fish Audio Drama 3开源发布:35B混合专家模型实现语音导演与多轮修订

Fish Audio 在 Hugging Face 发布 Drama 3 技术报告,一个 35B 参数、每 token 激活 3B 的开源语音生成模型,首次将多轮修订、场景配音、填充编辑和流式输入整合进单一模型。

一句话看懂:Fish Audio 在 Hugging Face 发布 Drama 3 技术报告,一个 35B 参数、每 token 激活 3B 的开源语音生成模型,首次将多轮修订、场景配音、填充编辑和流式输入整合进单一模型。

事件核心:发生了什么

据 Hugging Face Papers 2026 年 10 月 13 日收录的论文摘要,Fish Audio 推出开源语音生成模型 Drama 3。该模型基于 350 亿参数的混合专家(MoE)架构,每个 token 激活 30 亿参数,支持从多个参考音频克隆音色、遵循自然语言指令进行“导演式”语音合成,并能在下一轮对话中根据反馈修订上一段表演。官方摘要称,多轮修订、场景配音、填充式编辑和流式文本输入是 Drama 3 新增能力,且被整合在同一模型内。模型权重已发布于 GitHub 和 Hugging Face,推理通过 SGLang-Omni 提供。

为什么重要

当前开源语音模型多在音质、克隆或单一指令控制上竞争,而 Drama 3 尝试把“可编辑、可多轮调整”的交互流程纳入基础能力。其技术路线也值得注意:混合线性注意力骨干搭配新的码本多 token 预测音频解码器,在专用层中预测每帧声学码本并关注整个序列。摘要称,在单张 H200 上其推理引擎解码单流达到每秒 271 帧,对比 Fish Audio S2 的 177 帧,而参数规模是后者的七倍以上。这表明 MoE 与解码优化可能缓解大参数语音模型的推理成本问题,但目前公开信息仅为论文摘要,尚未经过独立复现或同行评审确认。

对用户/开发者/创作者的影响

对开发者而言,权重开源和 SGLang-Omni 推理支持意味着可以本地部署或集成到工作流中,但 35B 总参数仍对显存和部署工程有要求。对播客、有声书、游戏配音等创作者,多轮修订和填充编辑若达到摘要描述的效果,可减少反复重录和剪辑成本,让“用自然语言指导表演”成为可迭代流程。对普通用户,fish.audio 提供了直接体验入口,但摘要未披露具体定价、商用许可和语言覆盖范围,实际可用性需以官方文档为准。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是模型权重和推理框架是否随技术报告同步更新,实际生成质量与多轮修订稳定性有待社区验证;二是 SGLang-Omni 的部署门槛和吞吐表现,能否在单卡 H200 之外适配更常见硬件;三是开源协议与商用条款是否明确,以及 Fish Audio 是否披露与闭源语音模型的对比评测。目前信息仅来自论文摘要,建议关注官方仓库更新和独立复现结果。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 29107

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注