本文介绍了VSysBench，一个基于MMVet-v2的多模态大型语言模型（MLLM）系统消息合规性基准测试工具。该工具涵盖5大类22小类约束，结合文本与视觉指令，通过联合满意率（JSR）和跨约束敏感度（CCS）评价模型回答的合规性与正确性。测试16款MLLM发现，系统消息的强制执行显著降低了基础任务准确率；开源模型在用户冲突情况下合规性大跌，而顶级专有模型表现稳定；视觉指令为所有模型的最大挑战。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：本文介绍了VSysBench，一个基于MMVet-v2的多模态大型语言模型（MLLM）系统消息合规性基准测试工具。该工具涵盖5大类22小类约束，结合文本与视觉指令，通过联合满意率（JSR）和跨约束敏感度（CCS）评价模型回答的合规性与正确性。测试16款MLLM发现，系统消息的强制执行显著降低了基础任务准确率；开源模型在用户冲突情况下合规性大跌，而顶级专有模型表现稳定；视觉指令为所有模型的最大挑战。
该研究填补了当前多模态LLM基准中对系统消息合规性的评测空白，揭示了合规性、模型能力与用户指令冲突之间的权衡，为生产环境中多模态AI模型的设计和部署提供了重要参考。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
近期视觉语言模型（VLMs）通过在预训练大语言模型（LLMs）中加入视觉令牌显著提升能力，诸如LLaVA展现出优异性能。但处理多达576或729个视觉令牌带来的计算负担，限制了边缘设备的部署。现有令牌剪枝方法多需重训练，而一些无训练需求的方法虽便于架构调整，却难保证性能。本文提出ClustRS，一种无训练的双阶段令牌剪枝算法，包括基于注意力加权的聚类选取语义代表令牌和一次性残差缩减的去噪步骤。该轻量流程提升LLaVA对多种图像噪声的鲁棒性，使其适应真实世界数据。在ScienceQA-IMG与MM-VET等基准测试中，ClustRS在极端噪声和令牌条件下比基于注意力和多样性的剪枝方法好20%，在LLaVA 1.5 7b上令牌数量减少97%至16个；对LLaVA-OneVision于轻度噪声下，用不到三分之一令牌达到基线性能。研究表明，该简单高效方法为计算高效且抗噪的VLM部署提供了新思路。
分割一致性预测在交换性条件下提供边际覆盖，日益被用作零样本视觉-语言模型（VLMs）的拒绝层。本文审计了CLIP、OpenCLIP和SigLIP在ImageNet及非ImageNet环境下的部署转移表现。结果显示，尽管边际覆盖保持较高（约0.86），但类条件尾部覆盖显著下降：在ImageNet-Sketch中，表现最差类别的覆盖几乎为零，且10-12%的类别低于有限样本假设下限。该失效与目标域类别准确率相关，但源域诊断无法预测。源域蒙德里安校准提升了分布内尾部覆盖但不具备迁移性，聚类一致性及Conf-OT改进了边际或平均指标，却未恢复最差类尾部覆盖。目标端类别校准可显著提升尾部表现，但需每类标签且计算开销大。还发现存在2-3倍的跨家族效率差距，SigLIP的原生sigmoid分数破坏了APS概率质量的解释。上述结论在不同模型规模、预训练数据、提示词、错过率和非ImageNet转移环境中均成立。因此，边际一致性覆盖应被视作平均可靠性指标，而非类别尾部的安全保障。
现代自动驾驶系统虽在物体检测和轨迹预测等感知任务表现优异，但缺乏对交通事故进行因果推理的高层能力，尤其是在确定责任归属和交通违规方面仍无有效标准。为此，CAViAR提供了一个含2249段真实交通事故视频的人工标注仪表盘摄像头基准数据集，包含环境条件、事故类型、因果解释、责任方、受影响方及规则违反类别等结构化标签。评测了多个先进视觉语言模型，发现其对光照等感知任务表现较好，但对天气、路况及责任推理表现较差，体现出现有模型在安全关键场景下感知与推理的鸿沟。数据集代码和评测工具均已开放。