3D激光轮廓仪知识整理

1.原理和应用场景

1.1 相机原理

3D激光轮廓传感器是基于激光三角测量法来重建三维场景。向被测物表面投射激光，通过使用2D相机接收其反射光的变化，可以非接触式测量物体表面轮廓（截面形状）。通过被测物和轮廓仪间的相对运动，对连续获取的一组剖面轮廓高度数据来近似地重构出被测物的3D形状，实现高精度测量及检测。

1.1.1 测量原理

1.1.2 相机激光器

激光器由传统的柱面镜改为鲍威尔棱镜，将通过准直透镜的光线，产生亮度均匀的直线。

1.1.3 沙姆镜头

沙姆定律定义：当被摄体平面、影像平面、镜头平面这三个面的延长面相交于一直线时，即可得到全面清晰的影像。

1.1.4 相机标定

1.1.5 中心线提取

1.2 应用场景

1.2.1 测量相关应用

检测电池仓平整度、A级面共面度以及螺钉孔位浮高

1.2.2 缺陷检测相关应用

需要对Pin针歪斜、缺针、高度异常等情况进行检出。

2.相机参数介绍及选型介绍

2.1 成像原理

3D激光轮廓仪是基于激光三角测量法(laser triangulation)来重建三维场景。向被测物表面投射激光平面(光片，sheet of light) ，通过使用CMOS相机接收其反射光的变化，可以非接触方式测量高度、高度差、宽度等轮廓（截面形状）。
通过被测物和轮廓仪之间的相对运动，对连续获取的轮廓数据进行图像处理重构获得被测物的3D形状，实现高精度测量及检测。

2.2 原始图成像

不同于常规相机焦平面、镜头平面和像平面三个平面平行，轮廓仪的三者相交于同一条直线。通过沙姆角设计，扩展了测量景深，使得全测量范围清晰成像。

普通成像

沙姆成像

2.3 生成轮廓图

对于线激光三角测量来说，核心算法在于轮廓线中心点的提取，高鲁棒性的提取算法可以使传感器轻松应对各种复杂场景；
对一张原始图，遍历每列搜索，每列得到一个轮廓点，这些轮廓点构成一条轮廓线。

2.4 相机规格参数

2.4.1 单轮廓点数

指相机Sensor横向分辨率。
2K系列，单轮廓点数为2048个点 。
3K系列，单轮廓点数为3200个点。
4K系列，单轮廓点数为4096个点。

2.4.2 参考距离

推荐相机的架设高度(相机下端面到目标物表面的距离）

2.4.3 Z轴测量范围

Z轴(高度)方向上可测量的范围

2.4.4 X轴测量范围

即横向视场，X轴（宽度）方向上可测量的范围。

2.4.5 Z轴分辨率

相机在高度方向上的最高分辨能力，为亚像素分辨率。标注的近端到远端下的分辨率范围；在测量范围内，越靠近近端，Z方向分辨率越高。

2.4.6 Z轴重复精度

相机在参考距离高度下架设，激光线打在陶瓷平面，重复采集4096条原始轮廓数据（不进行滤波处理），每条轮廓都有一个平均z值。这些平均z值的最大值减去最小值得到重复精度；

2.4.7 Z轴线性度(±% of MR)

Z方向线性度是在整个测量范围内被测物的实际距离和测量距离之间的差值。该差值与测量范围的比例即称为直线性。 Z方向线性度指示传感器的绝对测量能力.

2.4.8 轮廓数据间隔

沿X轴激光线方向轮廓点的水平间隔，
轮廓数据间隔=测量处视场宽度÷单轮廓点数。

2.4.9 数据输出类型

原始图：由轮廓仪内集成的2D相机拍摄激光线的原始成像

轮廓数据：原始成像经过中心线提取算法所得到的单条点云数据。

点云数据：三维数据点的集合，其中每个数据点包含空间X,Y,Z信息。

深度图：包含深度信息的一张二维图像，深度图中每个像素的灰度值代表深度信息。

亮度图：包含激光线亮度信息的一张二维图像，亮度图中每个像素的灰度值代表亮度信息。

2.4.10 激光波长

激光是“电磁波”的一种，“电磁波”存在波长这一标准。激光波长一般为405nm和650nm两种波长，肉眼判断分别为蓝光和红光。

2.4.11 触发模式

触发模式分为软触发和硬件触发。
软触发：通过软件代码命令来触发相机拍照
硬触发：通过外部硬件的控制信号触发相机拍照

2.4.12 扫描帧率

扫描行频，相机每秒最高采集多少条剖面轮廓；标注全画幅下（最大测量范围下）的行频和通过缩小感兴趣区域(ROI)后可达的最高行频。

2.4.13 激光等级

根据激光产品对人体组织的危害机理以及造成的伤害程度，按照IEC 60825-1：2014 激光产品安全标准进行分类：将激光产品进行分类。

2.5 相机选型评估

2.5.1 精度评估

Z轴系统重复精度判断:
Z方向绝对误差一般为Z方向分辨率*(3-8)倍，以海康DP-2060-01H为例，绝对误差为7.5-24微米。最终乘以3-8倍，主要取决与机构精度，以及环境震动导致。

X/Y精度判断:
X方向绝对误差一般为轮廓间隔4-5倍，以DP-2120-01H远视场为例，绝对误差为188-236微米（受环境影响）。

2.5.2 视场评估

视场位置选择：
1、视场足够的条件下使用中间视场，即参考距离高度
2、精度要求高选择上1/3视场
3、视野要求大选择下1/3视场
4、切忌不要将激光线太贴近上下视场边缘（线性度差）

视场大小选择：
1、首先选取满足客户精度要求的相机，此时若视场不满足，即选择拼接。
2、若客户对于精度无要求，那么选取对应视野满足的相机即可。

2.5.3 速度评估条件

1、相机可达的最大帧率：在保证ROI可以包含被测物高度的前提下，查看相机可达到的上限帧率，一般取可达上限
帧率的90%作为当前最高帧率（为防止编码器波动或者速度波动造成的误差）
2、客户要求的Y方向图像分辨率：根据客户精度要求，确定Y方向分辨率Yscale，一般为客户绝对误差的1/3，
stepdistance（步进间距）一般等于Yscale（Y轴采样间距）
3、根据精度和可达的最大帧率确定最快速度：V=当前可达最大帧率*stepdistance

2.5.4 效率评估

检测效率≠V/被测物料长度，检测效率=V/周期长度，
周期长度=物料长度+物料间隔，CT时间=周期长度/V

2.5.5 材质评估

红光蓝光选择：蓝光相比红光精度更高.。
红色激光（传统机型): 传统机型使用红色激光，成像激光光束较粗，轮廓结果跳动较大，重复性较差。
蓝色激光： 蓝色激光成像更精细，轮廓结果更稳定，精度更高。

激光对比

针对某些黑色吸光材料时，合适的选择激光可以使成像效果更好。红色波长量子效率高，提高黑色物体响应率；下图为相同曝光参数下成像

2.5.6 成像质量(噪点、空洞）

重点关注扫描出来的图像与实际物体的还原程度对比，当还原程度较高时，成像较好，还原程度较低时，成像较差。

2.6 多相机拼接

2.6.1 相机上下对射场景

主要用来测量产品厚度

2.6.2 双相机左右并列拼接

适用条件：样品需要测试的面积过大，节拍要求高，单相机扫描拼接节拍无法达到要求,需要扩大X方向的视野。

2.6.3 双相机对向扫描拼接

适用条件：单相机扫描出图盲区过大，使有效区域无法显示。

各个拼接的结构布局都是在进行相对位移，要么相机静止，样品移动；要么样品静止，相机运动。

3.3D项目需求与评估规范

3.1 应用类型

检测类型：缺陷检测、特征有无的判断等
测量类型：物体的长宽高、特征、体积等
OCR类型：数字、字符、文字识别等
识别类型：特征分类等
定位类型：特征位置、边缘位置等

3.2 使用环境

使用环境对评估方案精度有重要意义，如有特殊使用环境，请客户补充说明：
例如设备空间、隔离拍摄等。

3.3 项目信息

有明确的项目需求描述，明确公差范围、重复精度、绝对精度、检测效率等信息，确定是设备需求还是解决方案需求，提供必要的当前方案信息和痛点

4.相机图像格式和坐标系

3D轮廓传感器支持原始图、轮廓图、深度图、亮度图，点云图等数据的输出，其中深度图是由轮廓图拼接转换而来；点云图是由深度图转换而来。

4.1 原始图

·用途：原始图一般用于成像调试，不直接用于测量。

原始图是高速相机拍摄激光线所形成的2D图像，图像格式为mono8。像素灰度代表激光线照射的亮度。

原始图

4.2 轮廓图

用途：轮廓图一般用于轮廓测量，或确认原始图提点正确性。

轮廓图属于点云图，它是物体表面点云某一截面轮廓点的集合。轮廓图的单个点由X\Y\Z三个数据组成，当轮廓传感器只输出轮廓图时，Y=0，X\Z则为实际物理空间坐标，单位为微米。轮廓仪输出的仅为上表面轮廓。

轮廓图

轮廓图是由原始图的中心点经过内参查找表映射出的三维物理坐标，故其形态和原始图基本保持对应

4.3 深度图

用途：用于测量、缺陷检测，是最常用的图像模式

深度图是由像素值代表高度的2D图像和深度图属性组成，格式为有符号mono16，像素值区间为-32768-32767。传统的2D图像，灰度值越大，表示物体越亮；深度图则灰度值越大，表示物体空间位置越高（针对轮廓仪）。

在轮廓仪中，深度图是由轮廓图转换+拼接而来。

深度图

深度图一般有如下属性（单位：μm）

Xoffset：图像0点相对于物理0点的X偏移
Yoffset：图像0点相对于物理0点的Y偏移
Zoffset：图像0点相对于物理0点的Z偏移
Xscale：X方向一个像素代表的物理距离
Yscale：Y方向一个像素代表的物理距离
Zscale：1个灰度值变化代表的物理距离
Height：图像在Y方向上有多少像素
Width：图像在X方向上有多少像素

像素坐标转空间坐标公式（轮廓仪）：

X=x*Xscale+Xoffset
Y=y*Yscale+Yoffset
Z=z*Zscale+Zoffset

4.4 亮度图

用途：默认伴随深度图输出，一般用于亮度特征定位，模板匹配等。

亮度图是像素值代表物体亮度的2D图，像素格式为mono8。亮度图即可理解为传统的2D图片，像素值代表物体表面的亮度信息，灰度值越大，表征该位置反射回相机的激光越强烈。
亮度图是由原始图中心点所在的列有效像素取均值而生成的。亮度图和深度图是像素对齐的

亮度图

注意：由于亮度图的亮度信息是均值平滑得到，且激光光源不如2D光源照射均匀，故在亮度还原度上与2D相机拍的图相比，质量较差。仅能用于粗定位、粗略判断亮度信息等。不能完全代替2D相机

4.5 宽度图

用途：可选伴随深度图输出，一般用于特征识别，定位等。

宽度图是像素值代表激光线宽度信息的2D图像，像素格式为mono8。宽度图像素值代表该像素对应中心点所在列的线宽信息，灰度值越大，表征该中心点所在的该列激光线线宽越宽。
像素值和所对应的线宽是正比例关系。宽度图和深度图是像素对齐的。

宽度图

一般情况下，物体表面激光反射率越大，亮度越亮，线宽越宽。所以一般线宽图像素与亮度图像素呈正相关，用的也比较少。但对于某些特殊的材质，线宽图能够更明显的表征物体边界。

4.6 点云图

点云图是由深度图转换而来。

点云图

4.7 轮廓传感器内部数据流向

数据流流向

Sensor：高速感光芯片，接收漫反射激光，将光信号转换为图像
FPGA：可编辑逻辑控制器，特点：并行处理、用于数据运算
ARM（嵌入式）：嵌入式系统，特点：串行处理，用于资源调配
SDK：软件开发包，解析数据，获取图像；控制相机
客户端：展示图像，集成工具，初步图像处理

4.8 成像过程

成像图过程

5.系统标定

安装设备时，难以确保安装后设备的X/Y方向所在平面与载物台平面平行，设备的Y方向也难以确保和运动扫描方向一致。
设备的安装误差会影响测量的绝对精度，可通过系统标定矫正安装误差，得到系统坐标系下的点云数据，提高测量的绝对精度。
经过系统标定后，可以将倾斜的平面矫正为水平的平面，方便后续图像数据处理，比如通过高度阈值分割去除背景噪声。

5.1 直线标定

只能矫正X方向（横向）的安装误差，提升X方向的测量绝对精度。

5.2 静态标定

可以矫正X方向（横向）和Z方向（高度方向）的安装误差；提升X方向和Z方向的测量绝对精度。

5.3 动态标定

可以矫正X方向（横向）和Z方向（高度方向）以及Y方向（运动扫描方向）的安装误差；提升X\Y\Z三个方向上的测量绝对精度；
该标定方式下，需标定块或设备其中一个处于运动状态，两者产生相对运动。

5.4 旋转标定

适用于转盘旋转的场景。