本文提出了ConSA框架，针对混合全注意力(FA)与滑动窗口注意力(SWA)的模型架构，采用L0正则化自动学习FA和SWA的最佳分配，满足用户指定的稀疏性目标。该方法在0.6B和1.7B规模的大语言模型上优于基于规则的分配策略，KV-head级别的分配效果优于层级分配。学习到的分配模式是在底层使用SWA，中间层连续块使用FA，显示了不同于规则方法的注意力行为特征，结果跨模型规模和稀疏度均表现稳定。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：本文提出了ConSA框架，针对混合全注意力(FA)与滑动窗口注意力(SWA)的模型架构，采用L0正则化自动学习FA和SWA的最佳分配，满足用户指定的稀疏性目标。该方法在0.6B和1.7B规模的大语言模型上优于基于规则的分配策略，KV-head级别的分配效果优于层级分配。学习到的分配模式是在底层使用SWA，中间层连续块使用FA，显示了不同于规则方法的注意力行为特征，结果跨模型规模和稀疏度均表现稳定。
ConSA通过自动学习FA和SWA的分配，解决了传统基于规则的限制，提升了模型推理效率和性能，对设计高效混合注意力机制提供了重要参考。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
OpenAI and Molecule.one show how a near-autonomous AI chemist using GPT-5.4 improved a key drug-making reaction, advancing medicinal chemistry research.
本文提出了一种名为DivInit的方法，用于智能搜索中的查询初始化，通过在首次查询时选取多样化的种子查询，解决了标准并行采样中查询冗余导致的性能瓶颈。实验证明，DivInit在五个开源模型和八个基准测试中均优于传统方法，在多跳问答任务中平均提升了5到7分。该方法无需额外训练，代码已开源。
法律案例检索因法律语言的复杂性及查询与案例间精确词汇对齐的需求而具有挑战性。尽管密集检索模型取得进展，研究表明BM25依旧是强有力的基线。本文提出了一个无需参数训练的自我进化规则驱动查询重写框架，基于大型语言模型（LLM）创建并验证重写规则，通过实验反馈迭代优化规则。该方法在中文法律案例检索基准LeCaRD-v2上优于非进化基线，特别是在高性能LLM支持下。分析表明，LLM利用历史实验和规则淘汰知识在规则集精炼中起关键作用。