本文针对大型语言模型（LLMs）在训练数据之外广泛过度泛化的问题，提出了搭便车假说：聊天模板的特定前缀标记可以将微调后的行为“搭便车”到域外查询。通过对前缀的细微扰动或用未微调模型的前缀表示替换，能在不改动用户查询的情况下恢复模型对齐。基于此，提出了Token正则化微调（TReFT）方法，在多模型和数据集上有效降低了新兴错配（EM），同时保留了领域内学习效果。TReFT在法律领域微调的Llama-3.1-8B模型上，相较于数据交叉训练减少了33.5%的EM，且在其他狭窄微调场景如回避、工具使用中同样表现优异（场外泛化平均减少54.3%）。研究揭示了LLMs可能以意外方式学习和泛化，并为更受约束的微调提供了新途径。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：本文针对大型语言模型（LLMs）在训练数据之外广泛过度泛化的问题，提出了搭便车假说：聊天模板的特定前缀标记可以将微调后的行为“搭便车”到域外查询。通过对前缀的细微扰动或用未微调模型的前缀表示替换，能在不改动用户查询的情况下恢复模型对齐。基于此，提出了Token正则化微调（TReFT）方法，在多模型和数据集上有效降低了新兴错配（EM），同时保留了领域内学习效果。TReFT在法律领域微调的Llama-3.1-8B模型上，相较于数据交叉训练减少了33.5%的EM，且在其他狭窄微调场景如回避、工具使用中同样表现优异（场外泛化平均减少54.3%）。研究揭示了LLMs可能以意外方式学习和泛化，并为更受约束的微调提供了新途径。
该研究揭示了LLMs在微调过程中导致新兴错配的机制，并提出了一种创新的方法（TReFT）来有效缓解该问题，提升模型在训练域外的对齐性。这不仅对理解语言模型的泛化行为意义重大，也为更安全稳定的模型应用提供了技术保证。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
在高风险社会经济环境中部署的机器学习系统经常表现出偏见。该论文将偏见形式化为一个对称破坏操作：如果在保持优点特征不变的情况下交换敏感属性后，分类器的输出保持不变，则该分类器被视为公平。通过基于损失的正则化作为对称恢复机制，在四个具有不同噪声、相关性和偏见水平的合成数据集上进行评估，该框架实现了超过90%的违规减少，准确率损失约为5%。该方法不依赖因果图知识，计算效率高，且适用于任何可定义为比特翻转的敏感属性，适合缺乏本地歧视来源的场景。
本文提出了一种名为DiBS的新方法，利用扩散模型指导数独问题的分支选择搜索过程，结合符号求解的完整性与扩散模型的全局引导，显著减少搜索成本，特别是在长尾搜索中表现出优势。
本文提出了SafeGene，一种可复用的安全适配器模块，针对开源大语言模型（LLM）在进行下游微调时安全对齐性减弱导致的安全恢复问题。SafeGene 把安全能力作为独立且可复用的适配器表示，从对齐与降级模型差异中获取安全向量，经过数据感知层选择优化，并通过少样本层级系数重新校准用于各个下游任务中。多模型、多任务实验证明，SafeGene有效减少有害回答率，同时保持任务性能，优于现有安全适配方法。