本文提出了一种用于大型语言模型（LLMs）推理加速的新方法。通过多层感知机（MLP）激活稀疏化和令牌级条件路由，作者提出了灵敏度感知阈值设定（SATS），利用局部MLP输出灵敏度来校准层级阈值，替代传统依赖激活百分位的阈值设置方法。同时，引入了轻量级令牌路由框架，动态选择基础路径或修改路径以优化单个令牌的计算。实验证明，SATS在相似稀疏度下优于基于阈值的稀疏化基线，令牌路由则实现了更优的质量与吞吐量权衡。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：本文提出了一种用于大型语言模型（LLMs）推理加速的新方法。通过多层感知机（MLP）激活稀疏化和令牌级条件路由，作者提出了灵敏度感知阈值设定（SATS），利用局部MLP输出灵敏度来校准层级阈值，替代传统依赖激活百分位的阈值设置方法。同时，引入了轻量级令牌路由框架，动态选择基础路径或修改路径以优化单个令牌的计算。实验证明，SATS在相似稀疏度下优于基于阈值的稀疏化基线，令牌路由则实现了更优的质量与吞吐量权衡。
LLMs推理效率关键在于合理减少计算量同时保障模型质量。传统基于激活百分位的稀疏化阈值设定未必反映局部敏感度，影响分类质量。本文通过灵敏度感知阈值设定和令牌路由策略，有效提升了激活稀疏化效果和推理性能，对于追求高效大模型部署具有实际意义。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、models 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
三维高斯散点法（3DGS）的最新进展实现了高质量的场景表示，用于新视角合成。但现有方法多依赖多视角观测或未来帧信息，这在机器人和增强现实等仅有单一立体相机的场景中难以实现。本文提出了StereoSplat+，一种扩散增强的前馈框架，可从单对立体图像因果重建高质量3DGS场景。方法包括输入不变的StereoSplat网络，通过成本体积分支和三平面三维体积分支融合几何信息，并利用连续位姿编码适配不同视角和相机配置；以及一种称为StereoSplat+的单次扩散渐进推理策略，通过从单一立体对预测3DGS，渲染新视图，使用一步扩散增强器细化，再反馈更新3DGS。KITTI-360数据集实验表明，本方法在遮挡区域和视角外推时，显著提升了新视角渲染质量和几何准确性，优于现有前馈3DGS方法。
多模态大语言模型（MLLMs）通常假设训练和推理时均可获得所有模态数据，但现实中常常只有训练阶段可获得辅助模态。本文提出了探针混合（MoP）框架，通过结构化探针机制区分模态特异和模态通用信号，保留模态依赖结构的同时实现跨模态迁移表达。结合探针解耦损失的MoP跨模态训练策略（MoP-X），在八个任务和四种模态的综合评测中，MoP在推理阶段仅用单一模态输入时，较强基线最高提升65%，显示辅助模态即使不可用于推理也可显著提升模型性能。代码、模型和评测协议将开源。
云端深度学习推动了大规模医疗图像分析，但将敏感患者图像外包进行模型开发带来了重大隐私问题。图像伪装作为一种新兴的隐私增强技术，通过将图像转换为视觉上难以理解的形式，同时保留用于后续学习的信息。我们建立了统一框架，评估了代表性方法DisguisedNets和NeuraCrypt，在涉及分类和语义分割的四个数据集上，分析它们的预测效用、效率和对重建攻击的鲁棒性。结果显示，图像伪装对不同任务的表现差异显著：对医疗图像分类保持良好效用，但对密集语义分割产生较大性能下降。随机多维变换（RMT）在性能和安全性间提供最佳平衡，而基于AES的伪装严重影响效用。此外，基于回归的重建攻击在自然图像上的有效性，在真实医疗图像上则较低。此研究系统评估了隐私增强技术在医疗AI保密应用中的适用性。