46个视觉编码器研究:概念方向在局部成立,却难以跨图像类型迁移

一项发表于 alphaXiv 的论文测试了 46 个视觉编码器,发现模型能在同一种图像类型内部稳定表示“2→3”这类概念变化,但同一变化换到另一种图像类型(如数字换成手指)时,方向常常不共享,作者称之为“碎片化线性”。

一句话看懂:一项发表于 alphaXiv 的论文测试了 46 个视觉编码器,发现模型能在同一种图像类型内部稳定表示“2→3”这类概念变化,但同一变化换到另一种图像类型(如数字换成手指)时,方向常常不共享,作者称之为“碎片化线性”。

事件核心:发生了什么

论文于 2026 年 10 月 26 日发布,研究跨越不同架构、训练目标和规模的 46 个视觉编码器,覆盖数字数量、年龄、物体身份、MIT-States 属性等 10 类概念。作者借鉴语言模型中的线性表示假设,比较图像嵌入在概念变化前后的方向是否一致。结果显示,同一图像类型内部,99.1% 的测试案例方向一致性显著高于随机基线;跨图像类型时这一比例降至 52.2%。以“2→3”为例,监督式 ViT 的碎片化比例为 0.67,即 12 组跨类型方向对比中有 8 组无法与基线区分。

为什么重要

视觉模型通常被当作“能识别内容”的系统,但这项研究提示:识别正确不代表模型形成了可迁移的抽象概念表示。局部强线性、全局弱线性并存,意味着线性探针等可解释性工具在跨场景使用时可能失效,也解释了一部分视觉模型为何在分布外场景表现不稳。对依赖视觉编码器做多模态对齐、检索或可控生成的团队,这是需要纳入评估的结构性风险。

对用户/开发者/创作者的影响

目前公开信息显示,这一结论来自论文摘要层面的实验,尚未转化为可直接调用的产品能力。开发者在选型视觉编码器时,可把“跨图像类型方向迁移”作为额外测试项,而不是只看分类准确率;做图像生成或编辑的创作者,则需注意模型对同一概念在不同画面风格下的理解可能并不一致。若后续出现开源评测工具,团队可借此筛查编码器的抽象能力。

GamsGo AI

AI 工具推荐

想把多个 AI 模型放在一个入口?

GamsGo AI 集成 ChatGPT、DeepSeek、Gemini、Claude、Midjourney、Veo 等常用模型,适合写作、绘图、视频和日常 AI 工作流。

了解 GamsGo AI

推广链接:通过此链接购买,我可能获得佣金,不影响你的价格。

值得关注的后续

一是作者是否公开碎片化线性指标和评测代码,形成社区可复现的基准;二是更强局部线性是否真能随规模或训练方式逐步消解碎片化;三是这类发现会否影响 CLIP 类视觉编码器在多模态大模型中的选用标准。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 30312

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注