随着大型语言模型（LLMs）的进展，智能代理框架聚焦于感知、记忆与决策，最近多模态大模型（LMMs）使系统可处理图像、音频和视频等多种模态，提升真实环境中的应用性。本文综述了多模态在感知、推理、规划、记忆和行动等核心模块中的作用，追踪了从文本中心代理到多模态框架的发展，分析了不同模态融合架构及其对智能行为的影响，并评估了在机器人、界面导航、多媒体内容生成及长视频理解等领域的应用和性能表现。文章还探讨了效率与扩展性的权衡，为构建更稳健通用的智能系统提供了路线图。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：随着大型语言模型（LLMs）的进展，智能代理框架聚焦于感知、记忆与决策，最近多模态大模型（LMMs）使系统可处理图像、音频和视频等多种模态，提升真实环境中的应用性。本文综述了多模态在感知、推理、规划、记忆和行动等核心模块中的作用，追踪了从文本中心代理到多模态框架的发展，分析了不同模态融合架构及其对智能行为的影响，并评估了在机器人、界面导航、多媒体内容生成及长视频理解等领域的应用和性能表现。文章还探讨了效率与扩展性的权衡，为构建更稳健通用的智能系统提供了路线图。
本综述填补了近年来多模态智能代理研究的系统性空白，深入分析多模态技术如何重塑代理的核心功能模块及其在多个应用领域的表现，具有指导未来智能系统设计的重要价值。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、agents 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
世界动作模型（WAMs）通过将未来世界演变纳入动作生成来改进规划，但现有方法对每个场景分配固定的想象预算。我们提出了RISE（通过选择性展开细化想象）的系统级自适应想象框架，根据继续展开预期的规划收益做出顺序的展开/停止决策。在每一步，潜在评估器估计当前前缀揭示的风险及继续想象带来的规划改进潜力，而展开门则权衡预期收益与额外计算成本。鉴于事实驾驶日志仅暴露一种实现的未来，我们构建了包含多样结果和风险等级的反事实数据集CounterDrive，以丰富未来动态并提供局部风险监督。每个保留样本均经过专家验证及轨迹有效性、事件发生时点和因果类别的标注，为安全关键的世界建模研究提供可复用资源。在NAVSIM和nuScenes上的实验显示，RISE在减少不必要展开的同时实现了最佳整体规划性能，且转移实验支持其在不同WAM架构中的插件通用性。
视频语言模型将视频处理为密集的视觉令牌序列，存在大量冗余。压缩这些序列对于减轻语言模型解码过程中的视觉令牌负担至关重要。该方法通过最优传输将视频帧观察的密集经验测度映射到紧凑目标测度，从而构建压缩表示。该方法结合任务和空间维度调整压缩过程，针对问题条件优化传输成本，并在不同空间粒度上计算区域特定时间传输计划，实现对相关内容的关注。评估显示，AVIOT在多种视频理解基准上表现不逊于未压缩模型，且在高压缩率下依然保持强劲性能。
多模态大语言模型（MLLM）在统一视频感知领域占据主流，但在大规模多任务数据集上的后训练依然具有挑战性。现有强化学习方法即使采用计算昂贵的链式推理生成，也仅采样少量高质量的策略组。本文研究了视频MLLM强化学习后训练的样本效率与可扩展性，提出了OraRL方法。该方法将注释不仅用于评估，还作为oracle rollout直接作为正向优化目标。通过去耦优势估计器解决了“优势倒置”问题，同时采用符号平衡剪枝，只保留oracle及最强正负样本，显著提高效率。OraRL相较于基线在模型规模从0.8B到9B、数据量达到10万提示时均有提升。Video-ORA-9B解码速度从4780ms提升至130ms且无链式推理。实验中，其时间mIoU从62.5提升至66.0，追踪AO从73.0提升到78.2，分割从64.3提升到70.4，空间智能三大基准平均从51.0升至56.1，在VSI-Bench达73.1分，优于GPT-5和Gemini-3-Pro。