MCBench:面向万能大型语言模型的多模态安全评估基准
MCBench 提出了一套包含1196个场景,涵盖四类安全问题的基准测试,旨在评估能处理视觉、音频和文本的万能大型语言模型的安全性能。该基准通过成对设计的安全与不安全场景,考察模型对多模态信息的敏感性。测试结果显示,当前的万能模型在细微或非物理风险检测上表现不足,但在有明显视觉或声学线索时表现较好。推理分析表明,模型虽能提取各模态信息,却难以有效融合以做出安全判断,凸显了跨模态推理能力的不足。
这条 研究论文 信号说明,来自 arXiv cs.CL 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。