标签: sora

小红书开源 BigMac:多模态大模型训练新范式

小红书开源 BigMac:多模态大模型训练新范式

小红书技术团队开源了 BigMac,一种针对多模态大模型训练的流水并行新方案。它通过“嵌套流水线”设计,在不显著增加显存占用和计算空泡的前提下,将训练速度提升了 1.08 到 1.9 倍,解决了当前多模态模型训练中“要快就得费显存、要省显存就得慢”的两难问题。