通过人类与大型语言模型协作构建可扩展且具有文化特异性的刻板印象数据集
研究大型语言模型中的刻板印象多集中于英语环境,因其他语言缺乏数据集且手工标注成本高。本文提出一种高效的人类与大型语言模型协作标注框架,构建了EspanStereo,这是一套涵盖欧洲和拉美多西班牙语国家的刻板印象数据集。EspanStereo包含已知刻板印象及独特文化偏见,通过大型语言模型生成候选刻板印象,由本土标注者验证,体现框架有效识别细微地区偏见。该数据集评估显示不同国家的西班牙语支持模型存在显著刻板行为差异,强调文化基础评估的必要性。该框架适用于其它语言及地区,为多语言刻板印象基准测试提供扩展途径。
这条 研究论文 信号说明,来自 arXiv cs.CL 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。