3D视觉之深度相机方案

随着机器视觉，自动驾驶等颠覆性的技术逐步发展，采用 3D 相机进行物体识别，行为识别，场景 建模的相关应用越来越多，可以说 3D 相机就是终端和机器人的眼睛。

3D 相机

3D 相机又称之为深度相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，这也是与普 通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其 所记录的数据不包含这些物体距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体离我们比较 远，哪些比较近，但是并没有确切的数据。而 3D 相机则恰恰解决了该问题，通过 3D 相机获取到的数据， 我们能准确知道图像中每个点离摄像头距离，这样加上该点在 2d 图像中的(x,y)坐标，就能获取图像中每 个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。 

从上面描述可以看出，我们的眼睛就是一个天然的 3D 相机，这主要得益于偏光原理，当人眼在看 任何物体时，由于两只眼睛在空间有一定间距约为 5cm，即存在两个视角。这样形成左右两眼所看的图 像不完全一样，称为视差。这种细微的视差通过视网膜传递到大脑里，就能显示出物体的前后远近，产 生强烈的立体感，这是 1839 年，英国科学家温特斯顿发现的奇妙现象。自然的人类就想到通过两个一 定距离的普通摄像头来模拟人眼来获取 3D 数据。这就是最初的双目立体相机，鉴于双目相机的一些缺 陷，后来人们又发明了结构光和 TOF 的方法来获取 3D 数据。目前市面上常有的 3D 相机方案就就是这 3 种：飞行时间（TOF），RGB双目和结构光法

(1)结构光(Structured-light)，代表公司有奥比中光，苹果(Prime Sense)，微软 Kinect-1，英特尔 RealSense, Mantis Vision 等。

(2)双目视觉(Stereo)，代表公司 Leap Motion， ZED， 大疆;

(3)光飞行时间法(TOF)，代表公司微软 Kinect-2，PMD，SoftKinect， 联想 Phab。

下图是这三种方式的一个简单而形象的图片介绍
 

 

 

 

 

 

结构光

结构光，英文叫做 Structured light，通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过 一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。根 据编码图案不同一般有条纹结构光---enshape ，编码结构光---Mantis Vision, Realsense(F200), 散斑结构光 ---apple(primesense), 奥比中光。下图是一个典型的结构光相机的示意图:
 

苹果公司的 IphoneX 采用收购至 primesense 的技术，也是散斑结构光，所谓散斑就是是激光照射到粗糙物 体或穿透毛玻璃后随机形成的衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了 标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当 然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源标定， 通过对比标定平面的光斑 分布，就能精确计算出当前物体距离相机的距离。
 

 

随着结构光三维测量技术不断发展，实际应用价值不断提高。在工业测量领域中，上世纪九十年代，Dr.Steinbichler、Dr.Wolf 以及 Reinhold Ritter 教授等分别成立了Steinbichler GmbH、Dr. Wolf GmbH 和 GOM GmbH 公司标志着结构光测量技
术的产品化。目前国外结构光中代表性的 GOM 公司的 Atos 系列和 FARO 公司的Cobalt 系列结构光三维测量产品广泛应用在汽车、航空和消费品行业中。近年来国内结构光工业产品也不断发展，其中具有代表性的北京天远 OKIO 系列产品也不断涌入激烈的竞争市场之中，如图 1.3 所示，图中(a),(b),©分别表示 FARO、GOM 和北京天远的结构光产品。

 

娱乐消费领域中激光散斑结构光作为一种空间编码结构光近年来其应用尤为突出，2011 年 6 月，微软发布了 Kinect V1，现早已应用在体感游戏和机器人视觉等领域。2017 年 9 月，苹果公司发布的 iPhone X 中也采用了 PrimeSense 提供的散斑结构光，开启了手机平台上人脸的三维信息测量。国内散斑结构光代表公司奥比中光的 ASTRA 系列也运用在移动设备、3D 人脸识别、机器人视觉等领域，如图 1.4 所示，图中(a),(b),©分别表示苹果公司、微软公司和奥比中光的结构光产品。

结构光的双目视觉技术是一种主动式测量的三维重建技术。将平面光束照射在物体表面形成与原光带不一致的偏转信息，通过解码进行深度信息求解，从而精确快速地获取三维深度信息。投影面结构光，即投影一组平行的结构光，同时将物体置于可旋转任意角度工作台上，分批进行处理不同平面上的三维信息，计算出深度信息和进行匹配融合，能重建物体整体的三维信息。

图 1.5 所示的是一型号为 OKIO-H 的工业级三维扫描仪[23]，采用进口高精密工业 131 万像素 CCD 传感器，适用于航天航空、风电水电等精密装备制造领域。

 

结构光方法在工业上有重要的应用，例如从传送带上检测工件，工件的逆工
程；在图形建模方面也有重要的应用，如人体建模，包括头部等躯体模型，雕塑物件造型的数字化，实际上三维扫描仪的基本原理也是在结构光方法的基础上进行改造的。投影的编码图案由投影仪投影至物体表面，而后相机进行采集。编码图案是否得当有效，将直接影响三维测量重建的精度和效率。图 1.6 所示的双模手持式三维激光扫描仪[24]极大地简化了三维重建的过程。

 

结构光深度相机的分类

      主要分为单目结构光和双目结构光相机。

       单目结构光容易受光照的影响，在室外环境下，如果是晴天，激光器发出的编码光斑容易太阳光淹没掉。双目结构光可以在室内环境下使用结构光测量深度信息，在室外光照导致结构光失效的情况下转为纯双目的方式，其抗环境干扰能力、可靠性更强，深度图质量有更大提升空间。此外，结构光方案中的激光器寿命较短，难以满足7*24小时的长时间工作要求，其长时间连续工作很容易损坏。因为单目镜头和激光器需要进行精确的标定，一旦损坏，替换激光器时重新进行两者的标定是非常困难的。

单目结构光的原理 

      通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。 根据编码图案不同一般有条纹结构光enshape ，编码结构光Mantis Vision, Realsense(F200), 散斑结构光apple(primesense)。由于结构光主动投射编码光，因而非常适合在光照不足（甚至无光）、缺乏纹理的场景使用。结构光投影图案一般经过精心设计，所以在一定范围内可以达到较高的测量精度。技术成熟，深度图像可以做到相对较高的分辨率。

双目结构光的原理 

      双目结构光，就是纯双目和单目结构光结合的解决方案，结构光等于是给物体加了纹理，计算深度依然采用视差的原理。

---

主要生产厂家

     国外结构光方案开发的公司有Prime Sense(苹果)、英特尔，以色列Mantis Vision（小米）；

     国内结构光方案开发的公司有深圳奥比中光科技有限公司（单目结构光OPPO），南京华捷艾米软件有限公司（单目结构光），丘钛科技，上海图漾信息科技有限公司（双目结构光）。

 

 

结构光（散斑）的优点主要有：

1）方案成熟，相机基线可以做的比较小，方便小型化。

2）资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。

3）主动光源，夜晚也可使用。

4）在一定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS

散斑结构光的缺点与结构光类似：

1）容易受环境光干扰，室外体验差。

2）随检测距离增加，精度会变差。
 

 双目视觉

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，他是基于视差原理并利用成像设备 从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的 方法。目前有主动双目，被动双目之分，被动双目就是采用可见光，好处是不需要额外光源，但是晚上无 法使用，主动双目就是主动发射红外激光做补光，这样晚上也能使用。

双目视觉仅仅依靠图像进行特征匹配，对附加设备要求低，在使用双目视觉相机前必须对双目中两个 摄像头的位置进行精确标定。下面图片很好的简单阐述了双目相机如何获取物体的深度数据。同一直线上 的 3 个点在下端的相机都投影到 cmos 同一个点，因此单独的这个相机没法分辨三个点的距离，但是这 3 各 点在上端相机的投影位置不同，通过三角测量办法和两个相机基线距离 B，我们就可以计算出这 3 个点离相 机平面距离。
 

当然完整的双目深度计算非常复杂，主要涉及到左右相机的特征匹配，计算会非常消耗资源。

双目相机的主要优点有：

1）硬件要求低，成本也低。普通 CMOS 相机即可。

2）室内外都适用。只要光线合适，不要太昏暗。

但是双目的缺点也是非常明显：

1）对环境光照非常敏感。光线变化导致图像偏差大，进而会导致匹配失败或精度低。

2）不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会导致匹配失败。

3）计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。

4）基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，导致无法小型化

 

光飞行时间法(TOF)

顾名思义是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器 接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。因为光速激光，通过直接测 光飞行时间实际不可行，一般通过检测通过一定手段调制后的光波的相位偏移来实现。

TOF 法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制 （Continuous Wave Modulation）。脉冲调制需要非常高精度时钟进行测量，且需要发出高频高强度激光，目前大多采用检测相位偏移办法来实现 TOF 功能。

下面图片描述了 TOF 相机（连续波）的基本原理，实际应用中，通常采用的是正弦波调制。由于接收 端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比，因此可以利用相位偏移来测量距离。
 

因为 TOF 并非基于特征匹配，这样在测试距离变远时，精度也不会下降很快，目前无人驾驶以及一些高

端的消费类 Lidar 基本都是采用该方法来实现。

TOF 的优点主要有：

1）检测距离远。在激光能量够的情况下可达几十米。

2）受环境光干扰比较小。

但是 TOF 也有一些显而易见的问题：

1）对设备要求高，特别是时间测量模块。

2）资源消耗大。 该方案在检测相位偏移时需要多次采样积分，运算量大。

3）边缘精度低。

4）限于资源消耗和滤波，帧率和分辨率都没办法做到较高。目前消费类最大也就 VGA。

结论

从上面三种主流的 3D 相机成像方案来看，各有优劣，但是从实际应用场景来看，在非无人驾驶领域，结构 光，特别是散斑结构光的用途是最广泛。因为从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没 有办法做到最大的平衡。而且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有 红外激光发射模块，非常容易改造为主动双目来弥补该问题。     
 

 当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使 3D 相机能适应 更多的场景。也有一些同时使用，如手机前置基本确认会采用结构光来做 FaceId，但是后置用来做 AR 应用， 结构光和 TOF 都有机会。虽然项目具体使用哪种方案，要结合当前硬件资源，对性能要求等来确定，但从 最广泛的使用角度来看，散斑结构光无疑是目前最佳的方案。
 

 

 

————————————————
 https://blog.csdn.net/weixin_44470443/article/details/94861813

车载双目ADAS（六）：结构光深度相机_bobuddy的博客-CSDN博客

结构光三维扫描概述_江南又旧雨的博客-CSDN博客 

为什么要研究《双目结构光》？_Orange Wu的博客-CSDN博客