大型语言模型中出现模块化认知架构
人脑展现出显著的功能专门化,不同网络支持语言、形式推理、社交推理和物理推理。本文研究大型语言模型(LLMs)是否也呈现出类似的模块化组织。通过涵盖语言、形式推理、社交推理和物理推理四个认知领域的46项任务的神经回路分析,发现LLMs发展出与人脑相似的模块化架构:相同认知网络相关的任务在LLMs中激活重叠的神经元,不同网络相关任务则激活不同神经元。这种脑与神经网络中模块化的趋同出现表明模块化可能是智能系统的基本属性。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。