本文研究了仅格式不同的提示包装对大语言模型得分的影响，提出了格式敏感指数（FSI）和可解析性敏感指数（PSI）两个指标。通过分析14万条跨7个问答任务、5类提示包装及4个不同规模模型的生成结果，发现模型间FSI平均值相差超过30倍，且主要由合规性失败解释。同时，解析性是准确率的重要预测因素。作者强调，在基准测试中若不考虑提示包装的变异和合规性，准确率报告容易产生统计学上的脆弱性，并给出了相关应用的实用建议。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：本文研究了仅格式不同的提示包装对大语言模型得分的影响，提出了格式敏感指数（FSI）和可解析性敏感指数（PSI）两个指标。通过分析14万条跨7个问答任务、5类提示包装及4个不同规模模型的生成结果，发现模型间FSI平均值相差超过30倍，且主要由合规性失败解释。同时，解析性是准确率的重要预测因素。作者强调，在基准测试中若不考虑提示包装的变异和合规性，准确率报告容易产生统计学上的脆弱性，并给出了相关应用的实用建议。
提示包装的格式差异对模型性能有显著影响，且不同模型的敏感度差异巨大，若忽略这些变异和合规性问题，基准测试结果可能误导研究和应用，因此该研究揭示了评测的潜在不确定性并指导如何提高评测的鲁棒性与可靠性。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
该研究将基于图像的诊断拆解为图尔曼论证模型的组成部分，包括主张、依据、保证、限定词、反驳和支持。针对视网膜诊断中的机器学习生成主张，系统通过图像生物标志物提取模型提供依据，医学知识代理MedGemma分析连接依据与主张的保证，结合整体定量评估确定限定词，并利用MedSigLip计算图像相似度构建反驳，从而为专家提供结构化、可解释的诊断评估。
本文研究了大型语言模型智能体间信息传递时消息格式的重要性。通过设立多跳中继测试平台，比较五种消息格式（自由自然语言、精确定向自然语言、JSON、三元组、键值对）在六跳传递中的表现，结果显示消息格式效应依赖中继层级。强能力中继基本无损失，格式间差异微小；弱能力中继下格式差异显著，固定键JSON表现出更强的抗漂移能力。错误信息一旦产生，会高度保留至最终跳。结论是结构化消息提供了一种忠实且定位错误的通道，但不是纠错编码，格式选择应以链中最弱的环节为准。
本文介绍了Bilibili开发的一系列开源小型语言模型Index-1.9B。该系列包括四个模型：Index-1.9B-Base，拥有19亿非嵌入参数，预训练数据量为2.8万亿中英文标记；Index-1.9B-Pure，过滤所有指导性数据的版本；Index-1.9B-Chat，通过有监督微调和直接偏好优化对基础模型进行对齐；以及结合检索增强生成以支持少样本角色扮演定制的Index-1.9B-Character。模型采用Warmup-Stable-Decay学习率调度和Norm-Head输出层，实现训练稳定。Index-1.9B-Base在涵盖考试、推理、数学和代码的标准基准测试中得分64.92，表现优于体积大数倍的开源模型。报告还研究了模型深度、学习率大小及调度、数据质量和指导数据预训练的影响，以及训练过程中的性能异常提升。所有模型和评估代码均已在GitHub开源。