本文识别出强化学习中基于人类反馈（RLHF）中的一种结构性混淆：评分者的偏好标签不仅反映输出比较，也可能反映评分者在注释时的状态。持续的压力或困扰条件下，评分者的偏好会随时间变化，导致偏好数据同时编码评分者状态和质量判断。这种状态相关偏差可跨评分者共享，并通过奖励建模和策略优化传播。文章提出了评分者状态偏差的假设和审计框架，定义了相关概念，提出可测量指标并提供审计协议及试点方案，旨在公开模型中检测这种结构性偏差。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：本文识别出强化学习中基于人类反馈（RLHF）中的一种结构性混淆：评分者的偏好标签不仅反映输出比较，也可能反映评分者在注释时的状态。持续的压力或困扰条件下，评分者的偏好会随时间变化，导致偏好数据同时编码评分者状态和质量判断。这种状态相关偏差可跨评分者共享，并通过奖励建模和策略优化传播。文章提出了评分者状态偏差的假设和审计框架，定义了相关概念，提出可测量指标并提供审计协议及试点方案，旨在公开模型中检测这种结构性偏差。
RLHF作为训练大型语言模型的重要方法，其偏好数据的结构性偏差可能影响模型表现与公平性。识别并审计评分者状态偏差，有助于改进数据质量，提升RLHF训练的可靠性和模型的稳定性。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
本文提出的联合嵌入预测架构（JEPA）训练一个预测器与编码器共同工作，但实际应用时只用编码器的特征。该预测器是从可见上下文特征到被遮挡位置特征的学习算子，我们验证这个算子可以跨编码器家族迁移。通过将冻结的I-JEPA和V-JEPA 2预测器通过单线性投影接入多种非JEPA编码器（CLIP、DINOv3、DINOv2、MAE），在ImageNet-9和Stanford Dogs数据集上对遮挡特征完成任务表现出显著提升，尤其在重遮挡情况下效果最佳。该方法不需重新训练模型，仅需针对不同遮挡比例拟合线性映射，展现了JEPA预测器作为遮挡特征补全的通用算子的潜力。
在人脸图像检索中，尤其是在不受控制的监控环境下，错过关注目标（单个假阴性）是不可接受的。现有系统虽在标准测试中表现优异，但在实际环境中如低分辨率、运动模糊及光照不佳时表现欠佳。本文提出风险感知人脸检索（RA-FR）框架，通过自适应检索集生成，保证在用户指定风险水平和置信度下包含真实目标。方法结合了基于盲复原的混合模型减少数据不确定性、利用自监督ViT特征提取及服从Hoeffding不等式的可证校准机制，实现了在IMFDB数据集上5%风险目标下仅约10张图片的平均检索集大小。该框架融合了领域复原、鲁棒特征学习及可验证决策规则，使监控人脸检索更加可靠且可审计。代码已公开。
本文提出将基于文本的世界建模形式化为可引导的转移动力学问题，结合初始状态、任务上下文、工具模式、领域规则和引导指令。通过对比自回归语言模型（AR LMs）和掩码扩散语言模型（MDLMs），发现MDLMs在保持推理延迟相当的情况下，凭借双向锚定感知的去噪能力，在连贯性、基础性和多样性上显著优于参数量是其4倍的LLMs。使用239,403条跨九个开源环境和多个模型家族的状态-动作轨迹进行训练，并通过零样本迁移实验展示在三个超出分布环境中，对不同规模代理骨干实现最高47%的性能提升。研究还分析了对抗场景下的失败模式，并通过人类评估验证了模型输出的真实性和实用性。该工作已开源，旨在促使相关方向研究进展。