CanLegalRAGBench:评估加拿大案例法中的检索增强生成技术
RAG技术在法律助理中越来越受欢迎,但大型语言模型的幻觉问题仍可能影响司法公正。现有评测多依赖合成查询,且对加拿大法律的覆盖不足。为此,本文提出CanLegalRAGBench,一个基于真实查询和案例法专家标注答案的加拿大法律问答基准。评测显示,检索性能受设计影响显著,开源嵌入模型与闭源模型表现相当,但自动评测存在惩罚检索到其他相关文档的局限。生成答案常偏离标准答案,存在幻觉或内容过多偏题,8-29%的断言缺乏文档支持。该基准旨在推动法律RAG系统的持续改进。
这条 研究论文 信号说明,来自 arXiv cs.CL 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。