因果归因剪枝法在大型语言模型中保持推理性能

arXiv cs.CL 发布了这条关于 研究论文 的更新：大型语言模型在多步推理方面表现出色，但推理成本较高。本文提出了一种名为因果归因剪枝（CAP）的无训练方法，通过测量注意力头对推理任务的因果影响，识别关键注意力头，指导细粒度权重剪枝。CAP基于小规模校准集，估计屏蔽每个注意力头时的性能下降，并将因果得分转化为权重的重要性值。与仅基于权重大小或激活值的方法不同，CAP的干预测量直接反映注意力头的功能贡献，在20%稀疏率下，在ARC-Challenge数据集上相较于Wanda方法获得最高61%的相对准确率提升。在GSM8K、StrategyQA和ARC-Challenge数据集上的多种模型和稀疏率（10%、20%、50%）测试中，CAP大多优于Wanda，尤其是Llama-3模型在ARC-Challenge上的表现显著提升。结果表明，基于因果归因的注意力头剪枝在保持推理性能方面胜过相关性剪枝准则，但在50%高稀疏率下受限于粗粒度的MLP归因。

因果归因剪枝通过直接干预测量注意力头对推理任务的因果贡献，能够精准识别关键组件，从而实现更有效的剪枝，减少推理成本同时保持模型性能。这一研究有效解决了传统剪枝方法依赖相关性指标，导致推理性能下降的问题，提升了稀疏模型在实际推理场景中的适用性和效能。

研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、models 的团队。

接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。