多模态大语言模型（MLLMs）通常假设训练和推理时均可获得所有模态数据，但现实中常常只有训练阶段可获得辅助模态。本文提出了探针混合（MoP）框架，通过结构化探针机制区分模态特异和模态通用信号，保留模态依赖结构的同时实现跨模态迁移表达。结合探针解耦损失的MoP跨模态训练策略（MoP-X），在八个任务和四种模态的综合评测中，MoP在推理阶段仅用单一模态输入时，较强基线最高提升65%，显示辅助模态即使不可用于推理也可显著提升模型性能。代码、模型和评测协议将开源。
这条 研究论文 信号说明，来自 arXiv cs.CV 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CV 发布了这条关于 研究论文 的更新：多模态大语言模型（MLLMs）通常假设训练和推理时均可获得所有模态数据，但现实中常常只有训练阶段可获得辅助模态。本文提出了探针混合（MoP）框架，通过结构化探针机制区分模态特异和模态通用信号，保留模态依赖结构的同时实现跨模态迁移表达。结合探针解耦损失的MoP跨模态训练策略（MoP-X），在八个任务和四种模态的综合评测中，MoP在推理阶段仅用单一模态输入时，较强基线最高提升65%，显示辅助模态即使不可用于推理也可显著提升模型性能。代码、模型和评测协议将开源。
该研究创新性地解决了训练阶段多模态、推理阶段单模态的不匹配问题，通过设计探针结构有效提取并解耦模态信息，提升了模型在现实应用中缺乏某些模态输入时的表现，拓展了多模态学习的应用边界。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
三维高斯散点法（3DGS）的最新进展实现了高质量的场景表示，用于新视角合成。但现有方法多依赖多视角观测或未来帧信息，这在机器人和增强现实等仅有单一立体相机的场景中难以实现。本文提出了StereoSplat+，一种扩散增强的前馈框架，可从单对立体图像因果重建高质量3DGS场景。方法包括输入不变的StereoSplat网络，通过成本体积分支和三平面三维体积分支融合几何信息，并利用连续位姿编码适配不同视角和相机配置；以及一种称为StereoSplat+的单次扩散渐进推理策略，通过从单一立体对预测3DGS，渲染新视图，使用一步扩散增强器细化，再反馈更新3DGS。KITTI-360数据集实验表明，本方法在遮挡区域和视角外推时，显著提升了新视角渲染质量和几何准确性，优于现有前馈3DGS方法。
云端深度学习推动了大规模医疗图像分析，但将敏感患者图像外包进行模型开发带来了重大隐私问题。图像伪装作为一种新兴的隐私增强技术，通过将图像转换为视觉上难以理解的形式，同时保留用于后续学习的信息。我们建立了统一框架，评估了代表性方法DisguisedNets和NeuraCrypt，在涉及分类和语义分割的四个数据集上，分析它们的预测效用、效率和对重建攻击的鲁棒性。结果显示，图像伪装对不同任务的表现差异显著：对医疗图像分类保持良好效用，但对密集语义分割产生较大性能下降。随机多维变换（RMT）在性能和安全性间提供最佳平衡，而基于AES的伪装严重影响效用。此外，基于回归的重建攻击在自然图像上的有效性，在真实医疗图像上则较低。此研究系统评估了隐私增强技术在医疗AI保密应用中的适用性。
室内场景重光照需要实现逼真的视觉效果、精确的空间控制以及严格的多视角一致性。虽然基于扩散的图像编辑模型通过文本提示实现语义光照操作，但精确的3D光源定位往往会破坏其生成先验。本文提出了Lume-Palette，一个利用语义照明先验实现空间可控多视角室内重光照的渐进框架。该方法将重光照分为两个阶段：(1) 照明蒸馏，从预训练扩散模型提取标准照明调色板以保持真实的材质-光线交互；(2) 照明投射，将目标空间光照条件显式映射至稀疏3D几何。为高效处理密集多视角多模态输入，设计了非对称多视角条件策略，选择性注入关键空间上下文。实验证明，Lume-Palette在多种合成和真实场景中表现出逼真、空间可控且多视角一致的重光照效果。项目页面：this https URL