多语言大型语言模型在处理不同语言的语义等价提示时，常出现推理和答案不一致的现象。已有研究发现中间表示较为语言无关，但生成过程随着离散输出令牌的确定变得语言特定，导致不同语言间的推理路径偏离。本文提出SOLAR方法，通过监督微调中的辅助目标，将软令牌表示跨语言对齐，利用英语作为枢纽。软令牌是词汇嵌入的概率加权组合，能聚合跨语言的语义相关信息。SOLAR在四个多语言推理基准上提升准确率最高达17.7点，特别在低资源语言上表现显著，同时增强了跨语言相似性，减少了语言聚类差异，助力多语言推理共享语义结构的保持。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：多语言大型语言模型在处理不同语言的语义等价提示时，常出现推理和答案不一致的现象。已有研究发现中间表示较为语言无关，但生成过程随着离散输出令牌的确定变得语言特定，导致不同语言间的推理路径偏离。本文提出SOLAR方法，通过监督微调中的辅助目标，将软令牌表示跨语言对齐，利用英语作为枢纽。软令牌是词汇嵌入的概率加权组合，能聚合跨语言的语义相关信息。SOLAR在四个多语言推理基准上提升准确率最高达17.7点，特别在低资源语言上表现显著，同时增强了跨语言相似性，减少了语言聚类差异，助力多语言推理共享语义结构的保持。
该研究通过引入软令牌对齐，解决了多语言模型在生成过程中语言特定选择导致的跨语言推理不一致问题，显著提升了模型的跨语言推理性能，尤其是对低资源语言的效果提升，推动了多语言自然语言理解技术的发展。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
本文提出一种迭代数据生成方法，通过级联线性特征来识别和控制语言模型中的谄媚行为，即模型倾向于优先满足用户验证需求。该方法通过捕捉行为强度线性变化的样本，较简单的二元对比样本实现了更好特征解耦，并形成线性可分子空间，从而提升了检测、评分与行为引导的效果，同时较传统方法计算负担更轻且更具解释性保证。
本文探讨了在基准测试准确率达到饱和时，通常被淘汰并替换为更具挑战性的版本的做法。研究指出，这种方法过分关注准确率，忽视了代理性能的六个关键维度，包括构建有效性问题（如捷径）、分布外泛化能力、效率、可靠性、模型与框架的重要性比以及人机协作提升。以计算科学代码复现的CORE-Bench Hard为例，文章展示了即使准确率饱和，从这些维度衡量代理仍能提供有意义的性能洞察。文章提出了改进的基准CORE-Bench v1.1和分布外任务套件CORE-Bench OOD，证实准确率饱和后，基准仍能有效测量效率、可靠性等。此外，实验证明人机协作实现了接近两倍的速度提升， highlighting 了替代以准确率为中心的评价范式的可能。
研究发现，聊天模型中拒绝和人格特质在激活空间中各自有线性方向，但两者并非独立机制。实验在Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct模型中表明，顺从性人格方向会抑制拒绝行为。通过干预两者方向，顺从人格使Llama模型的拒绝率从97%降至2%。在模型后层，拒绝行为的表达受到人格特质的控制，说明拒绝是下游产生的结果，非孤立方向。