帮助图表讲述故事!基于论文的复杂科学图视频生成
科学图表将复杂流程浓缩于一幅画布,但理解它们需基于论文的逐步讲解和视觉重点,这在现有视频生成系统和评测中缺失。为此,我们提出基于论文的图表转视频生成:从图表及其论文生成带解说且区域定位的演示视频。我们设计了MINARD(通过区域分解的多模态架构解读)管线,生成与论文忠实对应的解说并依序定位至图表区域。我们还发布了FigTalk基准,包含新的连续和组件级定位指标。在FigTalk上,MINARD生成类人且论文忠实的解说,并在人机评测及自动评测中在解说条件下图表空间定位方面超越现有方法。
这条 研究论文 信号说明,来自 arXiv cs.CL 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。
