多模态大语言模型（MLLMs）在语义等价的跨模态输入下应生成一致响应，但实际预测存在系统性差异。本文定义模态差异为文本与多模态输入下模型性能的差异。提出TokenSwap方法，通过将文本概念替换为语义对齐的图像，生成文本与视觉标记交织的序列。基于此，将文本基准如MMLU转换为含图像的新基准TokenSwap-Bench。研究发现42个MLLM中普遍存在模态差异，性能从文本到图文输入平均下降19.6%。推理模型模态差异较小，约10.1%，非推理模型达25.5%。提示策略和仅增加训练计算量难以消除差异，加入TokenSwap训练有效减小模态差异，同时保持文本和视觉语言表现。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：多模态大语言模型（MLLMs）在语义等价的跨模态输入下应生成一致响应，但实际预测存在系统性差异。本文定义模态差异为文本与多模态输入下模型性能的差异。提出TokenSwap方法，通过将文本概念替换为语义对齐的图像，生成文本与视觉标记交织的序列。基于此，将文本基准如MMLU转换为含图像的新基准TokenSwap-Bench。研究发现42个MLLM中普遍存在模态差异，性能从文本到图文输入平均下降19.6%。推理模型模态差异较小，约10.1%，非推理模型达25.5%。提示策略和仅增加训练计算量难以消除差异，加入TokenSwap训练有效减小模态差异，同时保持文本和视觉语言表现。
该研究首次系统定义并量化了多模态大模型中的模态差异，揭示了当前模型在跨模态理解上的不足。提出的TokenSwap方法不仅构造了实用的跨模态基准，也提供了有效的训练策略以缩小模态差异，推动多模态模型更加统一和鲁棒的表现。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
存储是每个智能代理AI工作流程的重要组成部分。在代理访问企业知识、持久内存及重用键值缓存数据时，存储性能尤为关键。NVIDIA发布的Vera存储基准工具，优化了加密、压缩、完整性检查和恢复过程，提升了AI原生存储系统的整体效率。
通用多模态嵌入（UME）将多样化的多模态输入映射到共享的嵌入空间。现有的UME模型要么通过单次前向编码生成嵌入，要么通过显式推理标记和潜在自回归状态增加计算，导致检索延迟和对中间状态依赖。本文分析了独立训练UME模型每层的正负相似度分离，发现初期层负责多模态上下文化，中后期层形成检索区分特征，最终层映射到嵌入空间。基于此，提出ReLoop-UME，通过早期层一次执行、参数共享的检索形成模块递归重用以及最终映射层，借助可学习检索寄存器在循环间累积和交换证据，并以最终寄存器作为嵌入读出。在MMEB-V2和MRMR数据集上，ReLoop-UME在多种骨干网络下均提升检索性能，且速度分别比UME-R1快44.9倍，比PLUME快1.5倍。
安全关键的生物特征和取证应用需要准确的预测和可靠的置信度估计，尤其在分布偏移条件下。这对深度伪造检测尤为重要，因基础模型常在分布外操作中表现出过度自信，限制实际部署。本文提出一个不确定性感知的深伪检测框架，通过识别互补证据来源间的不一致性来发现伪造。框架集成视觉流（基于改编的CLIP编码器）、语义流（通过可微约束建模面部属性一致性）和结构流（捕捉语义和取证特征间的类别依赖模式）。引入分支间分歧校准（IBDC），一个关联预测不确定性与证据流冲突的机制。大量交叉数据集实验表明，该框架在多个分布外基准上实现了最先进的泛化能力，并持续提升校准和选择性预测性能，证明该方法在分布偏移下为可信赖且校准良好的深伪检测构建了坚实基础。