多分支Transformer新架构:并行分支提效,KV缓存降34%

Hugging Face Papers 收录一篇论文,提出多分支 Transformer(MBT):把完整 Transformer 块并行组合成多个分支,在匹配参数与训练算力的条件下优于顺序堆叠的 Transformer,并配套 Joint-KV 共享缓存降低长上下文推理成本。

一句话看懂:Hugging Face Papers 收录一篇论文,提出多分支 Transformer(MBT):把完整 Transformer 块并行组合成多个分支,在匹配参数与训练算力的条件下优于顺序堆叠的 Transformer,并配套 Joint-KV 共享缓存降低长上下文推理成本。

事件核心:发生了什么

目前公开信息显示,该论文探索了 Transformer 扩展的一条补充路径:分支。此前的常见做法是把模型做宽或做深,MBT 则让输入先经过共享初始层,再并行执行参数独立的多条顺序块分支,最后在共享末端层前融合输出。研究者在 0.8B 至 2.1B 总参数的四档混合专家规模上做受控预训练实验,考察 Wide-Shallow、Narrow-Deep 和 Balanced 三种变体。摘要称,2 分支 Wide-Shallow 在参数和训练算力预算匹配时持续优于顺序 Transformer,Balanced 表现更好,且分支数增加时质量保持可比。

为什么重要

这条路线瞄准了大模型扩展的两个现实约束:训练算力和推理成本。摘要给出的拟合缩放曲线显示,标准 Transformer 最多需要约 1.26 倍的训练主体算力,才能达到最终模型的验证损失;同时 Joint-KV 在每一深度用分支表示构建共享 KV 缓存,使全模型 KV 缓存存储最多减少 34%,在单张 H200 上解码吞吐最高提升 51.4%。如果这些结论能在更大规模与更多任务上复现,分支可能成为宽度、深度之外的第三种可调维度,影响模型架构设计与推理引擎优化。

对用户/开发者/创作者的影响

对开发者和推理基础设施团队而言,Joint-KV 的共享缓存思路值得跟踪,因为它直接对应长上下文场景下的显存占用和解码速度;但它需要推理引擎支持分支分组与缓存复用,短期内不会自动体现在现有 API 或开源权重上。对普通用户和创作者,这类架构研究目前还停留在论文阶段,不会立即改变可用产品的价格或能力。摘要中的消融还显示,分支增益并非仅来自宽度和深度变化,融合函数选择较稳健,且在中层效果最好,这些细节对做预训练实验的团队更有参考价值。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是论文全文与实验细节是否公开,尤其是更大参数规模下的可复现性;二是 Joint-KV 能否被主流推理框架或开源模型采用,形成实际部署收益;三是分支架构与混合专家、长上下文模型的组合是否出现后续工作。目前公开信息仅基于摘要,尚不能视为已上线产品或已通过同行评审的定论。

来源:Hugging Face Papers

celebrityanime
celebrityanime
文章: 36045

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注