MV2:用于新视角合成的多视角多车辆驾驶数据集
微分渲染推动了新视角合成的发展,但在实际驾驶环境中应用仍面临视角稀疏、动态物体和多轨迹数据有限的挑战。我们推出了多视角多车辆(MV2)数据集及基准,评估在动态城市场景下大视角变化的新视角合成模型。MV2包含车、踏板车和无人机的同步捕获,车辆轨迹不同但时间同步。通过在一个车辆的摄像头数据上训练,在另一车辆数据上测试,实现了比现有单轨迹数据集更大范围视角变化的评价。全部场景通过结构光重建注册,且通过手动像素对应验证相机位姿,得到50个高质量场景共12000张图像。对比近期新视角合成及相机位姿估计方法发现,视角差距增大时性能下降,且前馈位姿估计落后于基于优化的方法,验证MV2作为驾驶场景下新视角合成严格测试平台的价值。该数据集、基准协议及资源已公开。
这条 研究论文 信号说明,来自 arXiv cs.CV 的信息已经不只是单点新闻,而是值得放进产品、研究和行业判断里的趋势线索。