LocaLeJEPA 提出局部正则化改进 JEPA,ImageNet 线性探测准确率提升超 10 个百分点

alphaXiv 于 2026 年 10 月 20 日发布论文 LocaLeJEPA,它用局部欧氏分布匹配替代 LeJEPA 的全局高斯目标,使 JEPA 自监督学习更贴合数据自身几何结构;在 ImageNet-1K 上,线性探测和 k-NN 分类表现均有明显提升。

一句话看懂:alphaXiv 于 2026 年 10 月 20 日发布论文 LocaLeJEPA,它用局部欧氏分布匹配替代 LeJEPA 的全局高斯目标,使 JEPA 自监督学习更贴合数据自身几何结构;在 ImageNet-1K 上,线性探测和 k-NN 分类表现均有明显提升。

事件核心:发生了什么

论文针对联合嵌入预测架构(JEPA)的表示坍缩问题提出改进。此前 LeJEPA 通过把嵌入推向各向同性高斯分布来防止坍缩,但这套目标默认欧氏几何,难以兼容双曲 ViT、等变 CNN 等非欧嵌入几何。

LocaLeJEPA 把 LeJEPA 的全局目标换成局部约束:先用 K-means 按余弦相似度把图像聚成若干邻域,剔除少于四张图的邻域,再对每个邻域内的视图特征做中心化,并用 Epps–Pulley 检验逼近局部均匀球面分布。这样邻近样本保持相近,但不同邻域不会被拉到同一原点。

在 ImageNet-1K 上训练 100 个 epoch 后,欧氏 ViT-S/8 的线性探测准确率达到 62.1%,LeJEPA 为 51.6%;k-NN 准确率为 50.1% 对 38.9%。论文称,在双曲 ViT-S/8 和等变 ResNet-50 骨干上,LocaLeJEPA 同样优于 LeJEPA。

为什么重要

JEPA 路线被视为自监督学习的重要方向,但表示坍缩一直是落地难点。LocaLeJEPA 的意义在于,它没有继续加码全局分布假设,而是承认数据存在局部几何结构,并让正则化目标与之对齐。这为双曲空间、等变网络等非欧架构接入 JEPA 提供了更统一的入口,也可能降低针对不同骨干重复调参的成本。

目前公开信息显示,这是论文层面的方法验证,尚不能视为已上线产品或经过同行评审的成熟方案。

对用户/开发者/创作者的影响

对研究者和算法开发者而言,LocaLeReg 作为可插拔正则项,思路可以复用到现有 JEPA 训练流程中,尤其适合已经在尝试双曲嵌入或等变 CNN 的团队。对依赖自监督预训练特征的下游应用,如视觉检索、k-NN 分类和少样本识别,更好的冻结特征有望减少微调成本。代码已在论文中给出链接,但实际可用性和训练稳定性仍需开发者自行验证。

值得关注的后续

一是看社区复现能否在 ImageNet 之外的任务上稳定复现收益;二是看 LocaLeReg 与更大规模骨干、视频或多模态 JEPA 结合时的扩展性;三是看双曲和等变架构是否会因此获得更多工程采用。

来源:alphaXiv

celebrityanime
celebrityanime
文章: 29602

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注