ReLoop-UME:具有可学习检索寄存器的递归深度实现通用多模态嵌入
通用多模态嵌入(UME)将多样化的多模态输入映射到共享的嵌入空间。现有的UME模型要么通过单次前向编码生成嵌入,要么通过显式推理标记和潜在自回归状态增加计算,导致检索延迟和对中间状态依赖。本文分析了独立训练UME模型每层的正负相似度分离,发现初期层负责多模态上下文化,中后期层形成检索区分特征,最终层映射到嵌入空间。基于此,提出ReLoop-UME,通过早期层一次执行、参数共享的检索形成模块递归重用以及最终映射层,借助可学习检索寄存器在循环间累积和交换证据,并以最终寄存器作为嵌入读出。在MMEB-V2和MRMR数据集上,ReLoop-UME在多种骨干网络下均提升检索性能,且速度分别比UME-R1快44.9倍,比PLUME快1.5倍。
这条 研究论文 信号说明,来自 arXiv cs.CV 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。
