浅谈：基于三维场景的视频融合方法

视频融合技术的出现可以追溯到 1996 年 , Paul Debevec等 提出了与视点相关的纹理混合方法 。 也就是说 ， 现实的漫游效果不是从摄像机的角度来看 ， 但其仍然存在很多困难 。基于三维场景的视频融合 ， 因其直观等特效在视频监控等相关领域有着更实际的运用 。

目前关于三维场景视频融合已经有一些相关研究 。 美国Sarnoff 公司使用纹理映射方法计算模型表面颜色 ， 将实时视频流作为纹理投影到模型上 ， 并提出了 Vide 。Flashlights 系统 ， 这也是最早的比较完善的视频融合形式 。 南加州大学的 Hu 等提出了一种基于视频图像变形 (image-warping) 的视频融合方法 ， 即基于航拍影像和地面拍摄图形进行三维重建 ?然后使用基本纹理缓存 ( Base Texture Buffer) 来更新建筑表面的纹理贴图  。 Chen 等实现了一个室内监控系统  ， 通过简单的室内虚拟场景虚拟模型 ， 使用动态纹理映射技术将视频画面投影到几何表面 

视频融合技术的核心即三维场景中的视频投影 ， 以多路摄像头视频流接入 、 视频场景对应特征点的收集与计算作为基础 ， 将视频图像融合到三维场景中并达到在三维场景中视频基于真实环境展示的效果

三维视频融合方法

随着智慧城市 、 物联网等概念的提出 ， 人们可以通过各种技术手段获取城市的各种信息 ， 并对其进行归类 、 分析和检测 。 监控摄像头就是其中一个非常重要的部分 。 但是传统监控方式是基于一个大屏幕显示多个监控画面的形式来进行工作的 ， 由于缺少空间位置等信息 ， 工作人员需要在多个监控视频中查找自己所需的内容 ， 这种方式效率十分低下且不直观 。

对于三维视频监控方向 ， 当前比较常见的方法是在三维场景中对各个城市各个地点的摄像头位置进行标记 ， 如果监控工作人员希望调用某个地点的摄像头 ， 则只需打开对应地区的标注 。 但是这种方法只是简单地将二维的监控视频与三维场景结合在一起 ， 只是一个有着三维位置信息的 “ 大屏幕 ” ，并没有完全发挥出三维场景的直观性。

因此，智汇云舟提出把监控视频与三维场景紧密融合(即视频融合)的新思路 。 依托于单独的三维引擎，实现小范围或局部的三维场景与视频等资源的融合应用；也可以依托于三维地理信息系统（3D GIS），实现全球广域范围内的三维地理信息可视化融合应用。在三维可视化数据挖掘和处理上，基于三维地理信息的视频融合技术具有天然的时间和空间优势。通过内置的国际化统一标准的经度、纬度、海拔等地理信息坐标体系，可以实现三维可视化视频融合平台的基于LI（时空位置智能）的定位和时空动态分析， 增加了视频空间位置信息 ， 也增强了视频的空间直观性 。

视频融合在大范围三维场景中的实现

大规模 3D 空间信息实时可视化的关键除了视频融合效果之外 ， 还减弱了场景复杂度对渲染速度和逼真度的影响 。这也是特定场景简化三维视频融合的过程并采用平面视频融合的主要原因之一 。

采用基于外存 （ out-o-core ） 绘制 、 层次多分辨率模型表现和遮挡剔除相结合的算法可以极大地提高绘制效率 ， 并且能够在提供简化模型的同时保持较好的视域剔除与遮挡剔除效率 。 同时也为其他需要三维空间关系处理的行为 （ 例如碰撞检测等 ） 提供更好的优化 。

三维视频融合到平面视频融合 ， 场景模型同样从三维到平面 ， 最终以卫星地图的形式展示在三维场景中 。 为了加速可视化过程 ， 采用基于视觉误差的 LOD （ Levels of Detail ）生成和控制方法 ， 在误差允许的范围内通过绘制该简易网格来代替绘制精细地图