OVEarth-Bench:评估开放词汇地球观测的类别广度和查询多样性
开放词汇地球观测(EO)旨在通过自然语言定位地理空间概念,而非固定标签集。现有基准通常覆盖类别词汇狭窄或查询形式有限。为填补此空白,OVEarth-Bench扩展了类别广度,涵盖广泛的层级类别及正负表达,并丰富了查询多样性,包括词汇、指代和推理查询。基准支持统一的零样本掩码和框定位评估。评测显示:(1)当前方法性能有限,类别覆盖更广模型排名更稳定;(2)基于多模态大语言模型(MLLM)的方法整体表现最佳;(3)EO专用方法通常落后于通用模型且难以挑战最强方法。该研究为未来开放词汇EO方法设计提供了指导,强调开发更现实、多样、高质量和大规模基准的重要性。数据和评测工具已公开。
这条 研究论文 信号说明,来自 arXiv cs.CV 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。