阅读笔记（BMSB 2018）Video Stitching Based on Optical Flow

参考文献

Xie C, Zhang X, Yang H, et al. Video Stitching Based on Optical Flow[C]//2018 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB). IEEE, 2018: 1-5.

摘要

视频拼接在计算机视觉中仍然是一个具有挑战性的问题，特别是对于移动物体周围广泛存在的伪像，包括视差，鬼影等。传统方法通常依赖于单个投影模型，这可能导致重叠区域中移动物体的不准确对应。 在本文中，我们利用重叠区域中的光流场，提供像素密集投影，从而可以大大减少伪影。 然而，由于非重叠区域的投影是根据重叠区域的投影计算的，因此我们建议自动选择左框架或右框架作为参考，以避免当物体在重叠区域和非重叠区域之间的边界上移动时的不一致变换。 实验结果证明了我们的方法优于移动物体周围的最先进的方法。

简介

视频拼接是将包括重叠区域在内的多个视频合并为全景视频的过程[1]。视频拼接的神圣目标是获取尽可能自然的大视图视频。由于在安全监控，虚拟现实和医疗问题分析中的广泛应用，视频拼接已成为近年来的热门话题。

在过去几年中，图像拼接已经成为一个相对成熟的领域。有许多方法可以消除视差[2] [3]，削弱曝光差异并减少重影[4]。但与图像拼接相比，视频拼接的工作到目前为止非常有限。马里乌斯等人 [5]提出了一种从阵列摄像机生成实时全景视频的系统。有些方法对视频序列中的所有帧使用一个公共对齐[6]。虽然它可以保持全景视频稳定并节省大量时间，但通常会导致无法消除重影。这种缺点通过APAP方法[2]得到缓解，该方法提出了一种移动直接线性变换来弱化或微调投影扭曲以减少重影。

大多数先前的视频拼接方法在合成阶段[6] [7]中使用缝合切割，当移动物体穿过接缝时，这会导致重影效应。为了克服这个问题，许多方法每帧都会改变接缝的位置，以避免尽可能多地移动通过接缝的物体。此外，提出了一种快速稳定的焊缝选择算法[8]，以减少由连续视频帧之间的显着缝隙移动引起的伪影。在[9]中已经提出了在重叠的空间时间体积上使用3D图形切割的缝合缝。如图1所示，即使这些方法做出了一些贡献，它们仍然无法消除严重的鬼影，特别是在移动物体周围。

最终全景视频具有鬼影的原因可以分为两个方面：

• 1）左右帧之间的单个无变形投影模型是不够的。

1. 一方面，传统方法总是使用单变换单应法将一帧映射到另一帧。左右帧之间的像素无法获得非常准确的对应关系。
2. 另一方面，许多方法对视频序列中的所有帧使用不变的变换单应性，而不考虑视频内容的变化。

• 2）切缝对移动物体有巨大影响。

1. 当移动物体穿过接缝时，它们的结构将很容易破裂，或者移动物体周围会出现鬼影。为了解决这些问题，本文提出了一种基于光流的视频拼接方法。光流[10]可以估计两帧之间的位移场。它是2D矢量场，其中每个矢量是位移矢量，表示从第一帧到第二帧的点的移动。
2. 为了克服单个投射模型导致相应不准确的缺点，使用光学流场在左右帧之间的重叠区域中实现像素密集投影。换句话说，重叠区域中的每个像素都拥有其典型的投影模型。因此，可以在所提出的方法中获得更准确的对准。此外，在合成阶段，仅需要对相应的像素进行加权以获得最终的全景帧。也就是说，在所提出的方法中不需要缝合切割。我们不需要考虑由连续视频帧之间的戏剧性接缝移位引起的伪影。总而言之，移动物体可以更好地匹配。

本文的其余部分安排如下。所提出的算法在第2节中给出。第3节显示了我们为检验所提出的方法而进行的实验。最后，第4节给出了结论。

算法流程：

实验结果：

由于没有公开的视频拼接基准数据，我们在我们捕获的两组视频上评估所提出的方法。视频数据集由两个具有不同视图的固定摄像机捕获，这些摄像机是同步的。为了证明我们方法的稳健性，我们选择两个不同的场景来涵盖一系列具有挑战性的案例：室内场景和室外场景。室外场景总是宽阔明亮，但室内场景相对狭窄，黑暗。三组视频均由相同类型的相机拍摄，并且在30fps时为720p（1280×720）。由于参考帧可以交替更改，因此全景图有两个视图。我们将具有右视图的帧映射到左视图[14]。在我们的实验中使用了密集的光流场，这是通过重复使用Liuce的代码来计算的。比较方法包括具有固定接缝的OpenCV中的Autostitch基线[14]，商业软件VideoStitch Studio [15]和每帧APAP [2]。在我们的实验中，我们使用论文作者提供的代码来获得比较结果。

对于主观性能比较，图4，图5和图6示出了几个对象在重叠区域中移动并且背景保持静止的帧。在图4中，AutoStitch在汽车后部有严重的重影。视差出现在VideoStitch Studio和APAP方法中。在提出的方法中，运动物体的边界非常清楚。在图5中，女孩的腿在AutoStitch方法中被破坏，VideoStitch Studio导致明显的鬼影。在APAP方法中，女孩的腿周围也有很多鬼影。在图6中，女孩的头部在AutoStitch方法中扭曲，VideoStitch Studio中的裙子和鞋子周围有明显的鬼影。在APAP的女孩身上也可以找到鬼影。

很明显，大多数视差和鬼影都在移动物体周围，因为移动物体正在经过缝隙切割或单个投射模型无法非常精确地匹配像素。但是，我们的方法没有这些工件。移动物体的边界相对清晰，不存在视差，这些视差受益于重叠区域之间的精确对应。

结论：

在本文中，我们提出了一种基于光流的新型视频拼接方法，可以进行像素投影。 我们的方法可以使像素的对应性比传统方法更准确。 实验结果表明，我们的方法比最先进的视频实现了更好的全景视频。 我们的算法进一步减少了移动物体周围的重影和视差。 通过我们的方法获得的全景视频也非常自然。将来，我们想加快算法速度。