UnpredictaBench是一项测试大型语言模型（LLM）捕捉真实底层分布能力的评估基准。随着LLM越来越多地被用来替代其他实体（如经济模拟中的人类），模型趋向于仅给出单一合理答案，未能体现真实系统的不可预测性。UnpredictaBench设计了448个简化但核心的采样问题，涉及统计分布、随机程序和自然语言描述的随机过程。该基准引入KS@N评价指标，通过Kolmogorov-Smirnov检验量化模型样本与目标分布的接近度。测试显示各模型在分布采样能力上差异显著，最高也未超出40%，表明该能力仍有很大提升空间。即使引入推理，提升有限，表明简单的分布模拟对LLM依然是挑战，是将LLM用作复杂系统代理的必要前提。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：UnpredictaBench是一项测试大型语言模型（LLM）捕捉真实底层分布能力的评估基准。随着LLM越来越多地被用来替代其他实体（如经济模拟中的人类），模型趋向于仅给出单一合理答案，未能体现真实系统的不可预测性。UnpredictaBench设计了448个简化但核心的采样问题，涉及统计分布、随机程序和自然语言描述的随机过程。该基准引入KS@N评价指标，通过Kolmogorov-Smirnov检验量化模型样本与目标分布的接近度。测试显示各模型在分布采样能力上差异显著，最高也未超出40%，表明该能力仍有很大提升空间。即使引入推理，提升有限，表明简单的分布模拟对LLM依然是挑战，是将LLM用作复杂系统代理的必要前提。
随着LLM在模拟和替代真实系统代理中的应用增加，模型能否真实反映结果分布的随机特性变得至关重要。UnpredictaBench通过严谨的统计指标和丰富的问题库，揭示当前模型在随机采样方面的不足，强调了这一能力在实际应用中的必要性和挑战性。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
在高风险社会经济环境中部署的机器学习系统经常表现出偏见。该论文将偏见形式化为一个对称破坏操作：如果在保持优点特征不变的情况下交换敏感属性后，分类器的输出保持不变，则该分类器被视为公平。通过基于损失的正则化作为对称恢复机制，在四个具有不同噪声、相关性和偏见水平的合成数据集上进行评估，该框架实现了超过90%的违规减少，准确率损失约为5%。该方法不依赖因果图知识，计算效率高，且适用于任何可定义为比特翻转的敏感属性，适合缺乏本地歧视来源的场景。
本文提出了一种名为DiBS的新方法，利用扩散模型指导数独问题的分支选择搜索过程，结合符号求解的完整性与扩散模型的全局引导，显著减少搜索成本，特别是在长尾搜索中表现出优势。
本文提出了SafeGene，一种可复用的安全适配器模块，针对开源大语言模型（LLM）在进行下游微调时安全对齐性减弱导致的安全恢复问题。SafeGene 把安全能力作为独立且可复用的适配器表示，从对齐与降级模型差异中获取安全向量，经过数据感知层选择优化，并通过少样本层级系数重新校准用于各个下游任务中。多模型、多任务实验证明，SafeGene有效减少有害回答率，同时保持任务性能，优于现有安全适配方法。