FineServe:全球大型语言模型服务工作负载的细粒度数据集与特征分析
FineServe是一套从全球商业市场收集的多模型大型语言模型(LLM)服务工作负载数据集。该数据集支持对多样化模型和任务的真实服务动态进行细粒度分析,揭示了不同模型架构、规模及任务意图下的请求波动行为。基于此,研究人员开发了FineServe工作负载生成器,可生成定制化的细粒度模型感知工作负载,用于评估多模型服务平台的调度、路由及容量规划策略。数据集和工具已开源。
这条 研究论文 信号说明,来自 arXiv cs.AI 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。
