3D立体视觉成像原理介绍【一 】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文将介绍3D立体视觉的成像原理，包括【激光三角测量、飞行时间TOF、结构光3D视觉、时间编码结构光】。
再了解3D立体视觉之前，我们需要先了解一下几个问题

什么是基线？

从我们用眼睛观察物体来解释，左眼和右眼之间的距离称为“基线”，大约在6cm左右。所以不难理解，两个相机光轴之间的距离即为基线。

我们一起来做一个实验，将一个物体放在眼前，然后交替闭上左眼和右眼，我们会发现被观测的物体再视野中的位置会有变化，将被测物体远离我们眼睛的时候，这个变化差异会变小。这个位置上的变化距离我们将其称为“视差”，而视差的变化大小取决于被观测物体离我们双眼（传感器）之间的距离.。我们在计算图像中像素点的深度时，通常需要查找每个像素点在其他视图中的对应点，然后根据两个点在图像中的位置关系计算控件中的对应点到相机之间的距离Z，其计算公式为

其中f为相机焦距，b为两个相机之间的基线距离，d为视差即对应点在不同视图之间的距离。

基线是如何影响3D图像质量

在3D视觉中，基线是3D成像的关键因素，那么基线的增加对成像系统会有什么影响呢？
1、限制了深度范围和视野 (FOV)，因为相机和投影仪之间的重叠减少了。但提高了测量精度。
2、存在更多的遮挡区域，其中阴影区域中的细节对于相机和/或投影仪均不可见，导致“空洞”并显示为稀疏数据。
3、增加了物体到相机之间的最小距离。
因此，可用得出结论：更长的基线对图像捕获显然有一些好处。但是，鉴于使用实际工作的性质，这种方法存在相当大的缺点，意味着相机之间的安装距离比我们想象中的要长。

激光三角测量

线激光器是一种可以与相机一起使用的主动光源。 具有成熟技术简单、成本低、速度快、精度高的特点。而 激光三角测量法也是最流行和最常用的 3D 成像技术之一。

成像原理：
激光线三角测量。
场景中物体上激光线的位移与物体高度成正比。
成像特征：
使用激光器的一个特殊优势是它在环境光作为噪声源的情况下的鲁棒性好，因为激光器发射的波长与环境白光的波长相距甚远。但它也有明显的缺点，首先是单色光源，因此无法拍摄彩色点云。 此外，它的拍照速度非常慢，因为激光必须在物体上下重复扫描以生成点云。 激光三角测量方法可用于传送带扫描场景，而激光器可以固定起来扫描传送带上缓慢经过的物体。
所以采用激光三角测量具有以下特点：
o 激光光源，不受光照的影响，对环境稳定。
o 采用简单的测量原理 。
o 可定制化程度高 。
o 适合输送带应用 。
o 速度慢，因为它需要在场景中进行扫描运动。
o 采集的数据没有颜色信息。

飞行时间

采用时域而非空间域方法进行 3D 成像，飞行时间激光扫描仪（有时称为 LIDAR 系统或激光
雷达）可有效去除基线。 并且通过测量发射的激光和从物体表面反射的激光之间的时间
延迟来获得精确的距离测量值。

成像原理：
o 测量发射光和反射响应的时间。
o 基于时间延迟（脉冲）和相位。
成像特点：
o 将时间用作“基线”。
o 可能紧凑，无遮挡影响。
o 大测量范围（数百米）。
o 非常快（实时视频速率）。
o 对反射敏感。
o 绝对精度有限。
o 复杂的制造。
o 通常能达到亚高清分辨率。
基于飞行时间的系统通常使用的测量技术包括：
脉冲激光系统：通过测量发射激光脉冲和接收脉冲之间的时间延迟。根据时间与距离成正比，所以相对位置是确定的。其次，这个传输的过程接近光速，所以采集的时间会非常短，所以测量速度会很快。测量效果与基线较短类似，所以精度（或深度分辨率）会降低。
基于相位的系统：通过在发射的激光束上调制正弦波并测量设备发射的波与物体反射的波之间的相位差来工作。与基于脉冲的系统相比，通常测量的精度会更好。缺点是测量范围将会缩小，对环境光（如阳光和反射）的敏感性会增加。 由于光线可能沿多条路径到达物体，因此测量距离可能比实际距离长。
飞行时间系统：向场景发射红外光，然后由相机传感器接收冲场景反射回来的信号，然后通过计算发射到接受用时来计算每个像素点的深度。

结构光相机

结构光技术与激光三角测量技术有一些相似之处，但要复杂得多，提供的信息要多得多，并能生成更详细的点云。 这是一种“全视野”方法，因为它提供了被拍摄对象的完整 3D 图像，而不仅仅是一条横截面线。
结构光系统采用高强度白光投影仪和相机进行成像。 它们以固定的方向相互排列，投影仪与相机成一定角度，相机与被拍摄场景成直角。
成像原理：
o 投影图案。
o 通过场景中物体的变形/位移计算出深度信息。

结构光成像存在的问题：空间结构光的单个投影方式在块平均、分辨率和准确性方面确实面临与双目立体视觉相同的挑战。 结构光系统通常也有与激光扫描仪相同的问题，涉及镜面反射，光亮表面或非常暗和光吸收性的表面。 这些表面通常会导致数据丢失和测量错误。

时间编码结构光

时间编码结构光系统在设计上类似于常规结构光系统，具有与场景成一定角度的高强度投影仪，并且相机正对场景。它们利用空间域和时域技术来提供非常详细的点云，还可以提供 RGB 颜色信息。
简单的结构光方法是将单一图案投射到物体上。时间编码结构光则将一系列独特的图案投射到物体上，相机为整个编码系列拍摄多张图像。在不同时间观察每个像素的强度，并用于建立相机和投影仪中各个像素之间的对应关系。由于使用了时间信息，因此所有计算都在像素级别执行，避免了对空间邻域的分析。
成像原理：
o投影条纹
o 通过场景中物体的畸变/位移提供深度信息。
o 测量发射光和反射响应的时间。

影响成像的关键因素：
o 时间编码投影图案，逐个像素处理。
o 无需分析空间邻域。
o 消除块平均。
o 不需要表面纹理。
o 空间和时间”的最佳组合。
o 利用时间作为“基线”。
o 可能是最准确的 3D 技术，基本原理决定质量。

参考：https://www.zivid.com/3d-stereo-vision