一句话看懂：一项新研究指出，多模态大模型中投影器训练阶段可能被过度重视，仅用10%至20%数据即可恢复大部分下游性能，并据此提出无需配对图像-文本数据的PORTAL初始化方法。
事件核心：发生了什么
根据Hugging Face Papers于2026年10月13日发布的论文摘要，研究者重新审视了多模态大模型训练中常见的两阶段流程：先通过投影器在大规模图像-描述数据集上对齐视觉编码器与语言模型，再联合训练完整模型。研究发现，投影器训练阶段的作用可能被高估：仅使用10%至20%的数据训练投影器，就能恢复大部分下游性能提升；此外，在不同数据集上训练的投影器可以线性插值，且性能基本保持。基于此，作者提出PORTAL——一种无需配对图像-描述数据、也不需要梯度优化的投影器初始化方法，仅依赖各模态的汇总统计量，通过最优传输映射在共享主成分空间中匹配视觉与语言特征分布的高斯近似，从而完全跳过投影器训练阶段。在六个LLM骨干、两种视觉编码器和16个基准测试中，PORTAL无需配对数据即可匹配使用558k图像-描述对训练的标准流程；在7个（视觉编码器，LLM）设置中有3个超越该流程，其余四个平均达到其98%的分数。
为什么重要
目前公开信息显示，这一发现挑战了多模态大模型训练中“投影器训练必须依赖大量配对数据”的默认假设。如果投影器主要完成的是粗对齐，且许多不同投影器效果相当，那么训练成本和数据需求可能大幅降低，尤其是在配对数据获取昂贵或稀缺的场景中。PORTAL方法跳过投影器训练阶段，可能为多模态模型训练流程简化提供新思路，并影响未来模型架构设计和算力分配。不过，该结果来自论文摘要，尚未核验全文实验与同行评审，实际工业部署效果仍需进一步验证。
对用户/开发者/创作者的影响
对于开发者和研究者，若该方法成立，意味着在训练多模态大模型时可能减少对大规模图像-描述数据集的依赖，降低数据标注和算力开销，加速模型迭代。对于使用多模态AI应用（如图像理解、视觉问答）的创作者和企业，训练成本下降可能间接推动更多开源模型和工具出现，但短期内核产品功能与API价格不会直接变化。目前公开信息显示，PORTAL仍需在更多真实任务中验证泛化能力，开发者可关注其开源实现和后续复现结果。
AI 工具推荐
想把多个 AI 模型放在一个入口？
GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型，适合写作、绘图、视频和日常 AI 工作流。
推广链接：通过此链接购买，我可能获得佣金，不影响你的价格。
值得关注的后续
1. 论文全文是否提供更详细的实验设置与消融分析，以及PORTAL在更大规模模型上的表现；2. 是否会有开源实现或API集成，推动社区复现与改进；3. 其他多模态大模型团队是否会跟进验证或采用类似免训练初始化策略，进而影响训练流程标准化。
