豆包视频通话背后，火山引擎重构 Agent 时代多模态传输底座

一句话看懂：火山引擎基于豆包视频通话的真实大规模用户场景，自研了一套面向 AI 的多模态传输系统（MMT），以解决传统音视频技术在 Agent 交互中延迟、稳定性、成本等方面的问题，这一系统已在亿级 DAU 的豆包中落地验证，并开始对外输出。

事件核心：发生了什么

在 2026 火山引擎 FORCE 原动力大会上，火山引擎智能视频技术负责人裴志伟披露了豆包视频通话背后的技术底座。豆包在从千万级 DAU 增长至亿级 DAU 的过程中，多模态视频通话是核心驱动力之一。团队发现，传统音视频传输技术（如 WebSocket、QUIC、WebRTC）难以支撑 AI 交互特有的高并发、长时在线、频繁打断和灵活的多模态同步需求。为此，火山引擎自建了多模态传输系统，采用 C/S 架构，在客户端保留采集、编码等能力，底层网络更换为 QUIC 库，并在传输层基于 MoQ 协议实现精细的会话控制，同时在服务侧增设处理网关来判断内容，如是否需要抽帧或局部增强。该系统目前已在豆包中面向大规模用户落地。

为什么重要

这一事件表明，在 Agent 竞争进入深水区后，行业共识正在从“模型能力决定一切”向“体验下限保障同样关键”转变。火山引擎与 OpenAI 在构建 GPT-Live 时都选择了将自然交互层与复杂推理层解耦，本质上是将多模态传输作为独立的基座能力进行建设。如果传输链路无法做到毫秒级建连、弱网稳定、音画同步且成本可控，再强的模型也难以在高频、移动、硬件化的真实场景中成为入口。目前公开信息显示，多模态传输系统面临的服务体量可能是传统 RTC 的 100 倍到 500 倍，这意味着一套面向 AI 原生的传输架构将成为 AI 应用产品化的硬门槛。

对用户/开发者/创作者的影响

对普通用户：豆包视频通话体验改善的核心在于“更自然”，比如能看清屏幕上的小字并实时响应，弱网环境下仍能流畅对话，AI 不再像问答机更像一个在场伙伴。对开发者和企业：火山引擎将多模态传输能力拆分为实时传输网络、SDK、传输网关、处理网关等模块，不同深度的用户可按需接入。有高度定制化 Agent 需求的客户可以直接采购底层能力，而那些希望快速集成的客户则能获得完整的交互 Agent 服务。这意味着开发者不必自研复杂传输系统，可直接复用被亿级流量验证过的底座。对创作者：多模态传输让 AI 能更稳定地处理现场式内容（如实时讲解、穿搭建议、视频导航），为创作者提供了更实时、更沉浸的交互形式。

AI 工具推荐

想把多个 AI 模型放在一个入口？

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。

值得关注的后续

1. 产品落地与成本：MMT 系统在豆包中已落地，但大规模商用后的成本是否可控，能否支撑中小开发者接入，仍需要观察定价方案与资源消耗数据。
2. 竞品动向：OpenAI 的 GPT-Live 采用分层架构，国内其他大模型公司（如百度、阿里、腾讯）是否会跟进构建自有的多模态传输系统，这将直接影响 Agent 生态的竞争节奏。
3. 开发者生态：火山引擎对外输出 MMT 模块后，如果配套文档、SDK 和社区支持完善，可能会加速一批实时多模态 AI 应用的诞生，推动行业从纯模型能力竞争转向工程与体验并重。

来源：InfoQ CN