面向多智能体系统的工作负载感知缓存策略
多智能体系统通过将复杂任务分解为有向无环图(DAG)形式的专用智能体执行,天然适合在查询间缓存中间结果。现有缓存淘汰策略仅基于访问历史统一处理缓存条目,忽视了智能体执行环境中独特的结构和工作负载信号。本文提出了一种结合重计算成本、DAG依赖数量和智能体调用频率三种信号的工作负载感知淘汰策略,在内存受限情况下保留最有价值缓存条目。评测在三个不同复用场景的多智能体基准上,较无缓存基线延迟降低最高达64.7%,平均较次优有限容量策略延迟降低31.1%,且性能接近无限容量缓存,同时保证准确率不低于其他有限缓存方法。该策略可与计划级缓存和并行智能体执行等优化方法互补,针对多智能体流水线中不同效率瓶颈提升性能。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。