KVBoost:基于偏差引导重计算的块级键值缓存重用,实现大型语言模型高效推理
KVBoost是一种针对HuggingFace兼容解码器模型的块级键值缓存重用系统。它通过双哈希键方案区分位置标识和内容标识,支持精确及近似缓存匹配,打破了仅能重用前缀的限制。KVBoost采用选择性重计算和缓存混合重计算两种策略修复注意力边界误差,并结合非对称量化、动态块边界调节及权重驱动的缓存剔除,在有限内存下显著降低时间开销。测试表明,在Qwen/Qwen2.5-3B模型上,KVBoost实现了4.49倍的首字生成时间降低,较传统前缀缓存提升16%,且准确率无损失。该方案无需模型架构改动,实用且高效。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。