本文提出了一种改进的大型语言模型结构化剪枝方法，解决了将无结构剪枝技术自适应特征保留（AFR）应用于结构化剪枝时的三大难题：异构剪枝评分的分布不匹配、方向一致性指示的符号信息丢失及异常值影响。该方法结合了幂变换实现非线性分布对齐、保符号的评分聚合和基于百分位的异常值去除。实验证明，在Llama-3-8B、Vicuna-v1.5-13B和LLaVA-v1.5-13B模型上，该方法保持了与无结构剪枝相当的准确度，同时通过结构化剪枝实现了实际推理加速。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：本文提出了一种改进的大型语言模型结构化剪枝方法，解决了将无结构剪枝技术自适应特征保留（AFR）应用于结构化剪枝时的三大难题：异构剪枝评分的分布不匹配、方向一致性指示的符号信息丢失及异常值影响。该方法结合了幂变换实现非线性分布对齐、保符号的评分聚合和基于百分位的异常值去除。实验证明，在Llama-3-8B、Vicuna-v1.5-13B和LLaVA-v1.5-13B模型上，该方法保持了与无结构剪枝相当的准确度，同时通过结构化剪枝实现了实际推理加速。
结构化剪枝相较无结构剪枝在加速推理和部署效率上具有优势，但直接应用无结构剪枝技术存在多重挑战。本文创新性地通过幂变换、符号保留评分聚合及异常值处理策略有效解决这些问题，推动了大型语言模型的高效压缩与加速。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、models 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
本文研究了使用LSTM和传统机器学习模型对推特文本进行情感分析的方法。通过对数据集进行分词、词形还原和去停用词预处理，比较了逻辑回归、随机森林、朴素贝叶斯、梯度提升及LSTM等算法的效果。结果显示，LSTM模型在训练准确率90.98%、测试准确率80.00%及ROC-AUC 0.92的表现上优于传统方法，体现了其在捕捉文本上下文和序列特征方面的优势。
近期在数学AI（AI4Math）领域，特别是基于大型语言模型（LLM）的定理证明器，在利用交互式定理证明语言生成形式化证明方面取得显著进展。但现有系统在处理前沿数学研究，如发现新定理或解决悬而未决的猜想时仍受限，因其问题多为开放式、多层次抽象。本文综述该领域，包括数据集、自自动形式化和证明合成，指出现有系统作为数学研究代理的核心瓶颈，并提出未来AI4Math的发展路线图。
本文介绍了DeepSearch-Evolve，一种基于DeepSearch-World可验证环境的自我蒸馏框架，用于训练网页搜索代理。DeepSearch-World包含42万个多跳问答任务，支持进度验证、反思和故障恢复等关键认知行为，有助于代理自我进化。DeepSearch-Evolve通过轨迹生成、筛选、数据混合和微调，逐步提升代理性能。无需从更强模型蒸馏，DeepSearch-World-9B在BrowseComp、GAIA和HotpotQA等测试集上表现优异，展示了可验证环境对于长远网页代理自我进化的潜力。本文还将开放环境、数据集、模型和代码，促进相关研究。