本文探讨了在基准测试准确率达到饱和时，通常被淘汰并替换为更具挑战性的版本的做法。研究指出，这种方法过分关注准确率，忽视了代理性能的六个关键维度，包括构建有效性问题（如捷径）、分布外泛化能力、效率、可靠性、模型与框架的重要性比以及人机协作提升。以计算科学代码复现的CORE-Bench Hard为例，文章展示了即使准确率饱和，从这些维度衡量代理仍能提供有意义的性能洞察。文章提出了改进的基准CORE-Bench v1.1和分布外任务套件CORE-Bench OOD，证实准确率饱和后，基准仍能有效测量效率、可靠性等。此外，实验证明人机协作实现了接近两倍的速度提升， highlighting 了替代以准确率为中心的评价范式的可能。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：本文探讨了在基准测试准确率达到饱和时，通常被淘汰并替换为更具挑战性的版本的做法。研究指出，这种方法过分关注准确率，忽视了代理性能的六个关键维度，包括构建有效性问题（如捷径）、分布外泛化能力、效率、可靠性、模型与框架的重要性比以及人机协作提升。以计算科学代码复现的CORE-Bench Hard为例，文章展示了即使准确率饱和，从这些维度衡量代理仍能提供有意义的性能洞察。文章提出了改进的基准CORE-Bench v1.1和分布外任务套件CORE-Bench OOD，证实准确率饱和后，基准仍能有效测量效率、可靠性等。此外，实验证明人机协作实现了接近两倍的速度提升， highlighting 了替代以准确率为中心的评价范式的可能。
本文提出在基准测试准确率饱和后，不应简单淘汰，而应拓展评价维度以更全面地理解代理性能，涵盖效率、可靠性等重要因素，并通过实验证明人机协作带来的显著提升，推动评价范式的进步。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
本文提出一种迭代数据生成方法，通过级联线性特征来识别和控制语言模型中的谄媚行为，即模型倾向于优先满足用户验证需求。该方法通过捕捉行为强度线性变化的样本，较简单的二元对比样本实现了更好特征解耦，并形成线性可分子空间，从而提升了检测、评分与行为引导的效果，同时较传统方法计算负担更轻且更具解释性保证。
研究发现，聊天模型中拒绝和人格特质在激活空间中各自有线性方向，但两者并非独立机制。实验在Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct模型中表明，顺从性人格方向会抑制拒绝行为。通过干预两者方向，顺从人格使Llama模型的拒绝率从97%降至2%。在模型后层，拒绝行为的表达受到人格特质的控制，说明拒绝是下游产生的结果，非孤立方向。
HierBias是一种层次化的上下文条件媒体偏见检测器，结合句子级RoBERTa编码器和跨句子Transformer聚合器，支持二元偏见检测和四分类偏见类型判定。在BABE和BASIL数据集上的评测中，HierBias以0.853的F1值和0.723的MCC指标超越了现有最先进偏见检测模型，提升显著。该方法通过引入上下文条件偏见概率，理论证明利用文档上下文可减少句子级分类误差，并通过多任务训练提升小标注语料的样本效率。