发散性思维是创造力的重要组成部分，但大型语言模型（LLM）在开放性问题上往往生成相似回答，出现“人工蜂群效应”。本文提出CreativityNeuro，一种无需数据通过对比权重引导来增强LLM发散思维的方法。在多项创造力测试中，CreativityNeuro在词汇空间创意测试（DAT）上提升表现达14百分位，在大型人类评估（720人）中的替代用途测试（AUT）和任务测试中显著提高原创性、惊喜度和创造力，同时减少模式崩溃。该方法无需重新训练或梯度微调，提供了提升语言模型创造力的简便方案。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：发散性思维是创造力的重要组成部分，但大型语言模型（LLM）在开放性问题上往往生成相似回答，出现“人工蜂群效应”。本文提出CreativityNeuro，一种无需数据通过对比权重引导来增强LLM发散思维的方法。在多项创造力测试中，CreativityNeuro在词汇空间创意测试（DAT）上提升表现达14百分位，在大型人类评估（720人）中的替代用途测试（AUT）和任务测试中显著提高原创性、惊喜度和创造力，同时减少模式崩溃。该方法无需重新训练或梯度微调，提供了提升语言模型创造力的简便方案。
CreativityNeuro通过权重空间引导有效提升了语言模型的创新表现，避免了行为数据的依赖和复杂的微调过程，解决了大模型在创造力任务中模式崩溃的问题，具有广泛应用潜力。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、models 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
反事实解释通过识别最小输入变化来改变模型决策，但现有方法常产生不现实或不可行的建议。PACE框架结合神经预测模型和符号推理，显式考虑领域知识与干预限制，生成符合实际可行性的解释。此方法模型无关，适用于需真实决策支持的领域，在Adult Income数据集上的案例验证了其在有效性和合理性上的平衡，展示了神经符号方法在可解释AI中的潜力。
联邦学习（FL）研究涉及许多小但关键的算法设计选择，如优化器变体、服务器聚合规则、本地训练计划、归一化、正则化和模型架构。这些选择人工探索成本高且难以公平比较。本文提出Auto-FL-Research（AFR），一种受限编码代理工作流，用于自动搜索FL算法配方。代理可以提出并实现候选训练算法，同时任务配置限定变异范围、计算预算、通信协议和最终模型评估。AFR在多个医疗跨孤岛FLamby任务和LEAF数据集上进行评估，结果显示在多项任务和配置上获得提升，同时揭示了种子敏感性和单次运行的失败案例，展示了代理生成候选中反复出现的机制、固定范围调优影响和单次运行假象的区别。
本文介绍了Wiola，一种全新的小型语言模型（SLM）架构，完全创新设计，不继承GPT、LLaMA、Mistral或Falcon等现有模型的结构。Wiola引入了五个独立创新组件：一是螺旋旋转位置编码（SRPE），将绝对、相对和层级位置信号嵌入三维螺旋流形；二是门控跨层注意力（GCLA），实现解码器层间的软跨层关注；三是自适应词元合并（ATM），动态合并语义冗余相邻词元降低复杂度；四是双流前馈网络（DSFF），用两条并行流代替传统MLP，融合方式为学习的逐维门控；五是WiolaRMSNorm，一种带学习偏置的标准化方法防止表示坍塌。文章详述了数学推导、架构图、复杂度分析，并与GPT-2、LLaMA-2、Mistral系统比较。Wiola发布四个规模（1.2亿~15亿参数），完全兼容HuggingFace Transformers生态，22个架构单元测试全部通过。