大型语言模型作为代理在庞大工具库中面临关键的工具检索瓶颈。为解决嵌入式检索方法对专业工具语义捕捉不足的问题，参数化工具检索通过将工具编码为虚拟标记并进行两阶段微调，实现了强劲的检索性能。现有基准测试在查询和解码上存在限制，难以评估模型是否真正理解工具。ToolSense是一个开源的基于LLM的诊断框架，能自动生成多级歧义现实检索基准、多项选择和问答探测基准。应用ToolSense至ToolBench及多种训练配置揭示知识与检索能力的脱节现象，部分模型尽管检索表现优异，但在事实探测上表现接近随机。该框架及基准已开源。
这条 研究论文 信号说明，来自 arXiv cs.AI 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.AI 发布了这条关于 研究论文 的更新：大型语言模型作为代理在庞大工具库中面临关键的工具检索瓶颈。为解决嵌入式检索方法对专业工具语义捕捉不足的问题，参数化工具检索通过将工具编码为虚拟标记并进行两阶段微调，实现了强劲的检索性能。现有基准测试在查询和解码上存在限制，难以评估模型是否真正理解工具。ToolSense是一个开源的基于LLM的诊断框架，能自动生成多级歧义现实检索基准、多项选择和问答探测基准。应用ToolSense至ToolBench及多种训练配置揭示知识与检索能力的脱节现象，部分模型尽管检索表现优异，但在事实探测上表现接近随机。该框架及基准已开源。
ToolSense框架弥补了现有工具检索评估的不足，通过多维度诊断测试揭示模型在检索性能与知识理解间可能存在的脱节，推动对参数化工具知识更深入的理解与改进。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
Hugging Face推出了olmo-eval，这是一个专为模型开发设计的评估工作台，简化模型评估流程，促进开发者循环中更高效的性能测试和改进。
Arbor 是一个多智能体框架，利用结构化树搜索作为自主代理在大规模、有状态动作空间中的认知层。不同于以往的无状态孤立目标优化系统，Arbor 维护一个含评分假设的搜索树，作为智能体间的共享工作内存，随着每次测量不断进化，将失败视为重新探索的诊断信号。验证中，Arbor 在全栈大语言模型推理优化中实现多达193%的吞吐-延迟帕累托改进，远超单一智能体的33%提升且避免崩溃。系统通过协同的 Orchestrator 和 Critic 智能体分工保障稳定性，展现硬件无关性和高可复现性。
传统上，决策支持研究人类如何利用机器学习模型做出更好的决策。然而，在现代代理系统中，角色逐渐颠倒：AI代理代表用户行动，而人类和工具成为支持机制。这种转变带来了可靠性问题，因为代理的错误可能有严重后果，且代理行为必须与人类目标和约束保持一致。本文提出了一个战略决策支持框架，通过优化问题最小化支持使用，同时控制代理孤立行动时因缺乏支持导致的关键错误概率。理论和在线算法验证了该方法能有效控制错误率，减少不必要的支持调用，并应用于信息收集、人机协作和工具使用等多场景，表现出良好效果。