啄木鸟蒸馏:弱模型诊断强模型的推理缺陷
大型语言模型虽然具备解决推理任务的能力,但常在推理过程中出现局部错误。本文指出,这些错误并非模型整体无能,而是出现在中间步骤的局部推理缺陷。通过在强模型的推理前缀后插入由弱探测模型生成的短修正补丁,能有效引导推理走向正确结果。直接微调弱补丁或修正轨迹不能有效内化该修正效果,说明关键信号在于如何重塑模型未来的推理分布,而非文本本身。基于此,提出了“啄木鸟蒸馏”框架,利用弱模型的对比局部干预训练强模型,从成功与失败的弱补丁中构建教师分布并进行蒸馏。数学推理测试表明,该方法持续提升强模型表现,优于直接模仿基线。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。