标签: Gemini

视觉编码器该不该预训练?新论文称可从头联合训练,算力匹配下效果相当

视觉编码器该不该预训练?新论文称可从头联合训练,算力匹配下效果相当

Hugging Face Papers 于 2026 年 11 月 12 日收录的一篇论文提出,多模态大模型中“预训练视觉编码器”并非必需,从头与语言主干联合训练的编码器在视觉问答任务上表现相当;真正关键的是保留独立的视觉容量,并把它放在主干早期层。这一结论基于论文摘要,尚未核验全文实验。