将潜在链式推理解读为动力系统
本文针对近期潜在推理方法(如CODI和COCONUT)存在的可解释性问题,提出将潜在令牌序列建模为表示空间中的轨迹,并应用动力系统分析方法来刻画推理的演化过程。通过定量指标(步步变化、方向一致性、Lyapunov敏感性)和定性投影(UMAP、DMD/PHATE)分析,发现潜在链式推理展示出结构化的非随机动力特性,存在两类稳定性:CODI表现为稳定吸引子,COCONUT表现为不稳定扩展系统,SIM-CoT监督收紧了这些行为但未改变底层动力学。该工作提升了潜在链式推理的可解释性并为改进潜在推理性能提供了实际洞见。相关代码与项目页面已在线发布。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。