JEPA预测器:一种用于遮挡特征补全的可迁移算子
本文提出的联合嵌入预测架构(JEPA)训练一个预测器与编码器共同工作,但实际应用时只用编码器的特征。该预测器是从可见上下文特征到被遮挡位置特征的学习算子,我们验证这个算子可以跨编码器家族迁移。通过将冻结的I-JEPA和V-JEPA 2预测器通过单线性投影接入多种非JEPA编码器(CLIP、DINOv3、DINOv2、MAE),在ImageNet-9和Stanford Dogs数据集上对遮挡特征完成任务表现出显著提升,尤其在重遮挡情况下效果最佳。该方法不需重新训练模型,仅需针对不同遮挡比例拟合线性映射,展现了JEPA预测器作为遮挡特征补全的通用算子的潜力。
这条 研究论文 信号说明,来自 arXiv cs.CV 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。