为LLM评审生成和优化动态评估量表
本文提出了一种无需人工标注的训练免费方法,用于自动生成适用于特定数据集和具体实例的细粒度评估量表。在四个基准测试中,该方法的性能与现有方法相当。进一步,作者设计了基于元评审奖励信号的量表生成器迭代微调方法,微调后生成器在成对和单点评估中均超越所有现有基线。值得注意的是,一款微调后的14B量表生成器在生成量表方面超越了体量更大的专有模型,展示了微调策略的有效性。
这条 研究论文 信号说明,来自 arXiv cs.CL 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。