一句话看懂：一项名为 SepGen 的研究把音视频生成与音频分离合并到一次采样过程中，让视频 soundtrack 里的每个声源都能以独立音轨形式导出，而不只是混成一条音频。
事件核心：发生了什么
Hugging Face Papers 于 2026 年 10 月 8 日收录了一篇论文摘要，介绍 SepGen。它的思路是扩展一个预训练的音视频生成器，让模型在一次联合采样中同时输出视频、混合音轨，以及每一条带字幕标注的独立声源波形。SepGen 提供两种模式：生成模式下，字幕描述每条音轨包含什么内容，例如双人对话会按原始轮次顺序拆成两个说话人的独立音轨；分离模式下，输入音频混音保持干净，字幕则指定需要从录音中提取什么，模型可以按自由文本描述对真实录音进行分解。目前公开信息显示，这项工作只给出了论文摘要和项目主页，尚未看到完整实验与同行评审信息。
为什么重要
现有音视频联合生成模型通常只输出一条混合音轨，每个声源无法单独访问。但在 4D 音视频场景中，从新视角渲染需要先知道每个声源的位置和轨迹，再把独立波形传播到观察者并混合，因此多路独立音轨是空间音频和可编辑视频的基础。SepGen 把生成和分离放进同一个模型，意味着音视频大模型有可能从“拍一条短视频”走向“生成一个可重新混音的场景”，这对 AI 应用中的视频编辑、配音、游戏音效和虚拟制作有直接意义。论文摘要还提到，在给定混音和带台词字幕的测试条件下，SepGen 在语音分离上表现优于语言条件分离器，即使从字幕中移除台词，其优势仍然存在。这些结果限定在摘要所述的任务与日期内，不代表永久排名。
对用户/开发者/创作者的影响
对创作者来说，如果这类能力产品化，视频生成工具的输出将不再是一条无法拆分的音频，而是可以按说话人、乐器或音效分别调整的多条音轨，后期混音和字幕对轨会更容易。对开发者而言，论文承诺开源代码、checkpoints 和数据集，具体地址为 sepgen.github.io，这可能降低在音视频生成模型上做二次开发的门槛，但要注意目前仅基于摘要，尚不能确认可直接使用的 API 或生产级性能。对企业采购和投资判断来说，多声源分离是空间音频、VR/AR 和生成式影视管线里的关键一环，若 SepGen 的方法可复现，相关模型和算力需求会进一步向多模态推理侧倾斜。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
一是代码与 checkpoints 是否如期开源，以及是否提供可直接复现的 demo；二是分离模式在真实录音、音乐和音效上的评测细节，特别是在没有台词字幕时是否仍稳定；三是这一能力会不会被现有音视频生成产品或云 API 跟进整合。
