本文提出主动推理框架，帮助交互式AI代理高效获取合适的上下文。当用户遗漏约束、偏好、文件或任务变量时，代理能通过默认假设或消耗资源提问、检索、调用工具或试探提示来明确上下文。该方法通过内部推理更新潜在任务状态的信念，外部决策选择最优上下文动作或任务动作以最小化预期自由能和成本。框架在确定性条件下简化为期望信息增益，并以最优提问问答为实例，在多达300个候选的分类任务中对前沿语言模型进行基准测试。研究还涵盖生成前澄清和令牌预算下自动提示优化，方法适用于各种模型，是AI代理上下文获取层的设计原则。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：本文提出主动推理框架，帮助交互式AI代理高效获取合适的上下文。当用户遗漏约束、偏好、文件或任务变量时，代理能通过默认假设或消耗资源提问、检索、调用工具或试探提示来明确上下文。该方法通过内部推理更新潜在任务状态的信念，外部决策选择最优上下文动作或任务动作以最小化预期自由能和成本。框架在确定性条件下简化为期望信息增益，并以最优提问问答为实例，在多达300个候选的分类任务中对前沿语言模型进行基准测试。研究还涵盖生成前澄清和令牌预算下自动提示优化，方法适用于各种模型，是AI代理上下文获取层的设计原则。
该研究提出了一种系统化的方法让AI代理在不确定和资源有限的情况下有效获取任务上下文，提升交互效率和决策质量，对设计智能系统具有重要指导意义。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers、agents 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
近期视觉语言模型（VLMs）通过在预训练大语言模型（LLMs）中加入视觉令牌显著提升能力，诸如LLaVA展现出优异性能。但处理多达576或729个视觉令牌带来的计算负担，限制了边缘设备的部署。现有令牌剪枝方法多需重训练，而一些无训练需求的方法虽便于架构调整，却难保证性能。本文提出ClustRS，一种无训练的双阶段令牌剪枝算法，包括基于注意力加权的聚类选取语义代表令牌和一次性残差缩减的去噪步骤。该轻量流程提升LLaVA对多种图像噪声的鲁棒性，使其适应真实世界数据。在ScienceQA-IMG与MM-VET等基准测试中，ClustRS在极端噪声和令牌条件下比基于注意力和多样性的剪枝方法好20%，在LLaVA 1.5 7b上令牌数量减少97%至16个；对LLaVA-OneVision于轻度噪声下，用不到三分之一令牌达到基线性能。研究表明，该简单高效方法为计算高效且抗噪的VLM部署提供了新思路。
分割一致性预测在交换性条件下提供边际覆盖，日益被用作零样本视觉-语言模型（VLMs）的拒绝层。本文审计了CLIP、OpenCLIP和SigLIP在ImageNet及非ImageNet环境下的部署转移表现。结果显示，尽管边际覆盖保持较高（约0.86），但类条件尾部覆盖显著下降：在ImageNet-Sketch中，表现最差类别的覆盖几乎为零，且10-12%的类别低于有限样本假设下限。该失效与目标域类别准确率相关，但源域诊断无法预测。源域蒙德里安校准提升了分布内尾部覆盖但不具备迁移性，聚类一致性及Conf-OT改进了边际或平均指标，却未恢复最差类尾部覆盖。目标端类别校准可显著提升尾部表现，但需每类标签且计算开销大。还发现存在2-3倍的跨家族效率差距，SigLIP的原生sigmoid分数破坏了APS概率质量的解释。上述结论在不同模型规模、预训练数据、提示词、错过率和非ImageNet转移环境中均成立。因此，边际一致性覆盖应被视作平均可靠性指标，而非类别尾部的安全保障。
现代自动驾驶系统虽在物体检测和轨迹预测等感知任务表现优异，但缺乏对交通事故进行因果推理的高层能力，尤其是在确定责任归属和交通违规方面仍无有效标准。为此，CAViAR提供了一个含2249段真实交通事故视频的人工标注仪表盘摄像头基准数据集，包含环境条件、事故类型、因果解释、责任方、受影响方及规则违反类别等结构化标签。评测了多个先进视觉语言模型，发现其对光照等感知任务表现较好，但对天气、路况及责任推理表现较差，体现出现有模型在安全关键场景下感知与推理的鸿沟。数据集代码和评测工具均已开放。