来源于访问结构的能力,而非规模:混合序列模型的下界与预注册测试
本文提出能力收敛假说(Capability Convergence Hypothesis, CCH),指出在固定的每步推理预算下,表示收敛并不等同于能力收敛。真正的能力收敛趋向于一种访问完备混合架构,该架构结合了压缩的O(1)状态通道和可扩展的逐字索引通道。通过牛顿苹果问题等基准任务,本文揭示了三大资源壁垒,并通过信息论下界和预注册实验验证了该假说,同时区分了理论证明和经济学动机的猜想。首次小规模预注册测试支持了模型在访问结构影响下的能力提升,表现出超加性特点。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。