一句话看懂：研究者用 268 组 MoE 实验拟合出文本、视觉、音频的混合数据缩放定律，发现不同模态的算力最优分配并不相同，视觉与音频之间存在明显的不对称干扰。
事件核心：发生了什么
2026 年 10 月 10 日，alphaXiv 上公开的一篇论文提出面向多模态预训练的数据混合缩放定律。作者用 Mixture-of-Experts（MoE）架构，在 457M 到 8.3B 参数、最高 1500 亿 token 的范围内完成 268 组受控实验，拟合出文本、视觉、音频三种模态各自的验证损失预测公式。公式把模型容量、混合比例、独立数据量、重复次数和跨模态影响都纳入计算。作者称，在三个留出设置中，该定律预测了 9 个模态级验证损失，其中 8 个误差在 2.51% 以内，皮尔逊相关系数为 0.999；唯一明显偏差出现在一个以非文本为主的持续预训练设置中的文本损失。目前公开信息显示，这仍是论文层面的研究结果，尚未声明用于已上线产品。
为什么重要
前沿多模态大模型往往同时吃文本、图像和音频，但每种数据该放多少、重复使用是否划算、模态之间会不会互相拖累，长期缺少公开的定量依据。这项工作的价值在于把“配方”变成了可预测的缩放关系。一个关键结论是：文本和视觉的算力在参数与数据之间大致五五开，而音频更偏“模型重”，参数指数约 0.62、数据指数约 0.38。另一个结论是重复数据的边际收益衰减很快：视觉第三次重复的价值只剩首次的 23.2%，音频为 43.2%。此外，跨模态干扰高度不对称——视觉会明显干扰音频学习，但音频对文本和视觉的干扰可以忽略。
对用户/开发者/创作者的影响
对训练多模态大模型的团队来说，这意味着不能简单按模态等比例堆数据或堆参数。如果音频数据稀缺，把预算更多投向更大的模型可能比反复复制音频样本更有效；视觉和音频同时训练时，则需要留意视觉对音频的挤压。对应用层开发者，这些规律短期不会直接改变 API 价格，但会间接影响多模态产品的成本结构：音频能力和视觉能力背后的训练投入逻辑不同。对内容创作者和中小企业采购者，目前还没有可直接使用的工具或定价变化，更多是理解未来多模态模型能力差异的一个参考框架。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
第一，作者给出的预测误差和不对称干扰结论，是否会在更大规模、更多模态的实验中复现。第二，这种缩放定律会不会被闭源或开源训练团队用于实际数据配比，并反映到后续模型的多模态表现上。第三，重复数据的衰减阈值是否随数据质量和模态组合变化，仍需更多公开验证。
来源：alphaXiv
