Index SLM 技术报告

本文介绍了Bilibili开发的一系列开源小型语言模型Index-1.9B。该系列包括四个模型：Index-1.9B-Base，拥有19亿非嵌入参数，预训练数据量为2.8万亿中英文标记；Index-1.9B-Pure，过滤所有指导性数据的版本；Index-1.9B-Chat，通过有监督微调和直接偏好优化对基础模型进行对齐；以及结合检索增强生成以支持少样本角色扮演定制的Index-1.9B-Character。模型采用Warmup-Stable-Decay学习率调度和Norm-Head输出层，实现训练稳定。Index-1.9B-Base在涵盖考试、推理、数学和代码的标准基准测试中得分64.92，表现优于体积大数倍的开源模型。报告还研究了模型深度、学习率大小及调度、数据质量和指导数据预训练的影响，以及训练过程中的性能异常提升。所有模型和评估代码均已在GitHub开源。

AI Signal Takeaway

这条研究论文信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。

打开来源

发生了什么

arXiv cs.CL 发布了这条关于研究论文的更新：本文介绍了Bilibili开发的一系列开源小型语言模型Index-1.9B。该系列包括四个模型：Index-1.9B-Base，拥有19亿非嵌入参数，预训练数据量为2.8万亿中英文标记；Index-1.9B-Pure，过滤所有指导性数据的版本；Index-1.9B-Chat，通过有监督微调和直接偏好优化对基础模型进行对齐；以及结合检索增强生成以支持少样本角色扮演定制的Index-1.9B-Character。模型采用Warmup-Stable-Decay学习率调度和Norm-Head输出层，实现训练稳定。Index-1.9B-Base在涵盖考试、推理、数学和代码的标准基准测试中得分64.92，表现优于体积大数倍的开源模型。报告还研究了模型深度、学习率大小及调度、数据质量和指导数据预训练的影响，以及训练过程中的性能异常提升。所有模型和评估代码均已在GitHub开源。

为什么重要

Index-1.9B系列展示了小型语言模型在保持较小参数规模的同时，仍能在多种任务上达到甚至超越大模型性能的能力，表明了精细的训练策略和数据管理对模型效果的重要影响。该报告为小型开源模型的研究和应用提供了重要参考和实验经验。

谁应该关注

研究员、模型团队和技术战略负责人应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。

下一步看什么

接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。

相关信号

[ 2026年7月14日 ]

研究论文

arXiv cs.AI/2026年7月14日

从机器学习预测到基于图尔曼论证模型的诊断辅助

该研究将基于图像的诊断拆解为图尔曼论证模型的组成部分，包括主张、依据、保证、限定词、反驳和支持。针对视网膜诊断中的机器学习生成主张，系统通过图像生物标志物提取模型提供依据，医学知识代理MedGemma分析连接依据与主张的保证，结合整体定量评估确定限定词，并利用MedSigLip计算图像相似度构建反驳，从而为专家提供结构化、可解释的诊断评估。

研究论文

arXiv cs.AI/2026年7月14日

格式敏感指数：基于令牌控制的提示包装鲁棒性与模式合规性在大模型基准测试中的应用

本文研究了仅格式不同的提示包装对大语言模型得分的影响，提出了格式敏感指数（FSI）和可解析性敏感指数（PSI）两个指标。通过分析14万条跨7个问答任务、5类提示包装及4个不同规模模型的生成结果，发现模型间FSI平均值相差超过30倍，且主要由合规性失败解释。同时，解析性是准确率的重要预测因素。作者强调，在基准测试中若不考虑提示包装的变异和合规性，准确率报告容易产生统计学上的脆弱性，并给出了相关应用的实用建议。

研究论文

arXiv cs.AI/2026年7月14日

忠实传递，非纠正：多跳智能体中消息格式效应依赖传递层级

本文研究了大型语言模型智能体间信息传递时消息格式的重要性。通过设立多跳中继测试平台，比较五种消息格式（自由自然语言、精确定向自然语言、JSON、三元组、键值对）在六跳传递中的表现，结果显示消息格式效应依赖中继层级。强能力中继基本无损失，格式间差异微小；弱能力中继下格式差异显著，固定键JSON表现出更强的抗漂移能力。错误信息一旦产生，会高度保留至最终跳。结论是结构化消息提供了一种忠实且定位错误的通道，但不是纠错编码，格式选择应以链中最弱的环节为准。