工业机器视觉缺陷检测工作小结

（因为网上没有很系统的讲义和文档，都是零零散散的，因此，我自己尝试着总结一下、仅供参考）
)

你想知道的大概率在这都可以找到、

工业机器视觉系统包括：照明系统、镜头、摄像系统和图像处理系统，功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分。

1.机器视觉是人工智能正在快速发展的一个分支。
2.简单说来，机器视觉就是用机器代替人眼来做测量和判断。
3.机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。
4.机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。
系统可再细分为：

• 主端电脑（Host Computer）
• 影像撷取卡（Frame Grabber）与影像处理器
• 影像摄影机
  CCTV镜头
  显微镜头
• 照明设备
  Halogen卤素灯光源
  LED光源
  高周波萤光灯源
  闪光灯源
  其他特殊光源
• 影像显示器
  LCD
• 机构及控制系统
  PLC、PC-Base控制器
  精密桌台
  伺服运动机台

应用：

1. 自动光学检查
   自动光学检查（英语：Automated Optical Inspection，简称AOI），为高速高精度光学影像检测系统，运用机器视觉做为检测标准技术，作为改良传统上以人力使用光学仪器进行检测的缺点，应用层面包括从高科技产业之研发、制造品管，以至国防、民生、医疗、环保、电力…等领域。
   
2. 人脸侦测
3. 无人驾驶汽车
   

相机的了解

<1> 相机的构成：
1.传感器芯片；
2.防尘片/滤光片；
3.控制与信号转换电路板；
4.光学接口、数据接口、外壳构成。

<2> 相机的功能：

将芯片接收到的光信号转换成电信号，进而转换为数字信号，传输给主机。当芯片上的象元接收光线时就会产生与光强度相等的电荷。该电荷被转换为电子信号，以获取各个象元接收的光强度，也就是说，每个象元都是一个可以检测光强度的传感器。

<3> 相机分类：
1.按输出模式分类：模拟相机和数字相机；
2.按靶面类型分类：面阵相机和线阵相机；
3.按图像色彩分类：彩色相机和黑白相机；
4.按芯片技术分类：CCD（电荷耦合器件charge coupled device）相机和COMS（互补金属氧化物半导体Complementary Metal-Oxide-Semiconductor）相机。
CCD 以及 CMOS 都称为感光元件，都是将光学图像转换为电子信号的半导体元件。他们在检测光时都采用光电二极管，但是在信号的读取和制造方法上存在不同。上述两者的相对的区别如下所示。

注：由于技术发展cmos芯片技术进步，性能上已经不属于ccd。市面上cmos芯片相机较多。

<4> 相机的像素：
何为像素？
所谓像素，是指图像的最小构成单位。电脑中的图像，是通过像素（或者称为 PIXEL）这一规则排列的点的集合进行表现的。每一个点都拥有色调和阶调等色彩信息，由此就可以描绘出彩色的图像。
例如 ：液晶显示器上会显示「分辨率 ：1280 × 1024」等。这表示横向的像素数为 1280，纵向的像素数为1024。这样的显示器的像素总数即为 1280 × 1024 ＝1,310,720。由于像素数越多，则越可以表现出图像的细节，因此也可以说「清晰度更高」。

灰度值概念：
1 每一小格表示一个像素点，其中每一个像素对应一个灰度值。
2 成像越亮的区域，灰度值越接近于255，反之接近于0。
像素的结构：
以 CCD 为主的 CCD 元件的像素，并不全都是为了输出图像信号而发挥作用的。像素可以分为总像素（表示 CCD 元件的全部领域的像素）、有效像素以及实效像素（实际起作用的像素）
有效像素 ：
总像素中图像信号的像素。数码相机的性能标示中使用的则是有效像素数，这是在产品手则中规定的。
实效像素 ：
有效像素中用来保证产品性能的像素。

何谓像素直径？
所谓像素直径，是指每个 CCD 元件的大小，通常使用 μm 作为单位。严谨的说，这个大小中包含了受光元件与信号传送通路。（＝像素间距）。也就是说，像素直径与像素间距的值是一样的。如果像素直径较小，则图像将通过较小的像素进行描绘，因此可以获得更加精细的图像。可以通过像素直径和有效像素数，求出 CCD 元件的受光部的大小。

例如：
假设某个 CCD 元件的条件如下所示 ：

• ·有效像素数…768 × 484
• ·像素直径…8.4 μm × 9.8 μm
  受光部的大小为
  ·横向 768 × 8.4 μm ＝ 6.4512 mm
  ·纵向 484 × 9.8 μm ＝ 4.7432 mm
  CCD芯片大小：
  CCD 感光元件的大小，一般分为采用英寸单位表示和采用 APS-C 大小等规格表示这 2 种方式。采用英寸表示时，该尺寸并不是拍摄的实际尺寸，而是相当于摄像管的对角长度。例如，1/2 英寸的 CCD 表示「拥有相当于 1/2 英寸的摄像管的拍摄范围」。为什么如此计算呢，这是由于当初制造 CCD 的目的就是用来代替电视机录像机的摄像管的。当时，由于想要继续使用镜头等光学用品的需求比较强烈，由此就诞生了这种奇怪的规格。主要的英寸规格的尺寸如下表所示：
  
  注：实际每款芯片大小不是必须为以上大小，可用相机像素4中“像素数量×单个像素尺寸”得到实际芯片大小。

<5> 相机分辨率：
分辨率由相机所采用的芯片像素决定，是芯片阵列排列的像元数量，对于面阵相机来说水平和垂直 相乘即为相机的分辨率。例如一个相机的分辨率是1280 H ×1024 V ，表示每行的像元数量是1280，有1024行像元，此相机的分辨率大约是130万像素。在对同样大小的视场成像时，分辨率越高，对细节的展示越明显。目前常用相机的分辨率有30万、130万、200万、500万、2900万、7100万、1.2亿等。
精度：图像中每个像素代表的实际物理尺寸，精度=单方向视场大小/相机单方向分辨率，
例如：用500万相机（分辨率2592×1944）拍摄80mm的视场，则精度=80÷2592=0.031（mm/pixel）。
行频/帧频：
相机的采集频率，面阵相机用帧率表示，线阵相机用行频表示。面阵相机帧率单位为FPS frame per second ，即帧/秒，指相机每秒钟能采集多少幅图像，1幅图像为1帧。例如15帧/秒，表示相机一秒钟最大能采集15幅图像。一般来说，分辨率越高的相机，帧率越低。线阵相机行频单位为Hz 1Hz为一行。例如50KHz/秒，则表示相机1秒钟内，扫描50000行。一般来说，分辨率越高的相机，行频越低。
曝光时间/曝光方式：
曝光时间指光投射到相机传感器芯片上，快门打开 的时间。曝光时间越长，图像越亮。外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定的时间。工业相机中曝光方式分为行曝光与帧曝光，其中行曝光指逐行曝光，帧曝光为一次性曝光一幅图像。线阵相机为逐行曝光，可以选择固定行频。

<6> 相机数据接口类型：
数据接口类型：相机和数据线连接的接口。
常见的数据接口有GigE、USB、IEEE1394、CameraLink等。

镜头的了解

<1> 镜头的作用：
图像处理是一个将进入摄像元件（CCD）的光转换成电子信号，并且将其作为数据进行使用的过程。其中最重要的部分就是将光汇集到摄像元件的镜头。镜头根据光的折射原理，可以将来自拍摄对象的光汇集到一点后成像。此时，汇集光线的点称为焦点，镜头中心到焦点的距离称为焦点距离。当镜头为凸镜时，焦点距离将根据镜头的厚度（膨胀）程度不同而各不相同。膨胀程度越大焦点距离越短。

将此当作 CCD 结构来观察时，如果拍摄对象处于凸镜的焦点以外，来自拍摄对象的光将在镜头上发生折射，并且形成一个上下和左右位置相反的影像。我们将这称为实像，如果在此位置放置摄像元件，就可以映射出实像。

<2> 镜头的分类：

• CCTV镜头（也称广角镜头）：
  本镜头应用于闭路电视（Closed CircuitTV）中，主要应用在 FA 领域的检测和防盗·防灾领域的监视等用途。由于镜片的数量较少，结构比较简单，因此体积较小并且成本较低。一般来说，其特征为无论焦物距为多少，都可以进行均衡的象差校正。
  
  注：由于此种镜头体积小，成本低廉，性能提升等原因应用范围较广。
• 远心镜头：
  这是一种通过排列使得主光线通过焦点的镜头，设计时使其在视角接近 ０° 的状态下行进，也就是说主光线相对于镜头光轴将平行行进。由于与光轴平行，因此很难发生歪曲像差（失真），可以高精度的捕捉拍摄对象的尺寸和位置。在图像处理时需要高倍率低失真、并且深景深时，远心镜头将发挥其真正的价值。
  
  
  注：除了物方远心还有像方远心或双侧远心等。

<3> CCTV镜头的结构：
所谓浮动结构，即指将多个镜头的前组和后组分别进行移动的功能。由此，可以在从近距离到无限远的范围内获得高清晰度和高对比度。
【 通过多个镜头、浮动结构进行优化的光学设计 】
为了最大限度发挥出多个镜头的性能，加入了浮动结构，可以使内部各镜头组（分为前组、后组）独立移动。其结构为调整焦点时如果镜头的前组移动，后组也将移动到最合适的位置上，从而使得歪斜校正可以实现最优化。在近距离到无限远的范围内，通过始终将镜头组的位置关系保持在最佳状态，从而实现了高性能。

<4> 镜头的接口：
镜头安装方式是用来连接 CCD 和镜头的，它拥有很多种类，如果两者不同时满足一定的条件，则不能保证CCD 和镜头的兼容性。在机械结构方面，存在接合部的结构和尺寸的问题，在光学结构方面存在 CCD 侧的法兰距离等问题，因此选择镜头时必须确认使用的 CCD 的支架。在 FA 行业使用的 CCD 的支架称为 C支架，它多为内径 25.4 mm (1 in）、间距 0.794 mm（32 牙 /1 in）的规格。
工业摄像头常用的包括C接口、CS接口、F接口、V接口、T2接口、徕卡接口、M42接口、M50接口等。接口类型的不同和镜头性能及质量并无直接关系，只是接口方式的不同，一般可以也找到各种常用接口之间的转接口。

<5> 镜头的工作距离：
工作距离(WD)：镜头聚焦清晰时，被测目标到镜头最前端的距离称为工作距离。
实际应用中，镜头不能对任意物距下的目标都同时聚焦清晰，因此镜头的工作距离有一定范围。

<6> 镜头的焦点距离：
镜头中的一种规格为「焦点距离」。FA 镜头中有代表性的镜头为焦点距离为 8 mm /16 mm /25 mm /50 mm等规格的镜头。根据想要拍摄的拍摄对象所需的视野和焦点距离，可以求出对焦位置 ＝ WD（工作距离）。当为 CCD 时，比例公式工作距离：视野＝焦点距离 ：CCD 尺寸成立。

WD 和视野的大小由镜头的焦点距离和 CCD 的尺寸来决定，在无需连接环的最近距离以上时，可以套用以下的
比例公式。

<7> 镜头的视野：
工作距离范围中的拍摄范围。一般来说，拍摄对象和镜头的工作距离越长，则视野越广（视野角）。另外，视野的广度由镜头的焦点距离来决定。我们将相对于视野，使用镜头可以拍摄的范围的角度称为视角或者视野角。镜头的焦点距离越短，则视角越大，视野也就越广。相反，焦点距离越长，则可以放大远处的拍摄对象。

<8> 镜头的光圈：
在镜头内部，有一个多边形或者圆形且面积可变的孔状光栅装置，这个装置就叫做光圈。光圈的作用是控制镜头的通光量，通常用光圈系数来描述其大小。光圈系数是指镜头焦距 f′与整个镜头有效通光孔径D的比值，通常用f/#来表示。其计算公式：f/#=f′/D。
f/#值越小，光圈越大。一般地，f/#值是以√2倍递增，因此在同一单位时间内上一级的通光面积是下一级的两倍，例如光圈从f/8 调整到f/5.6，通光面积便增加一倍.
光圈对图片亮度的影响：同一镜头，光圈越大，通光孔径越大，图片越亮。

<9> 镜头的景深：
能在像平面上获得清晰像的物方空间深度。即：在被摄物体(对焦点)前后，其成像仍然有一段清晰范围，就是景深。换言之，被摄物体在前后景深的范围内。

影响景深的因素：
1、光圈越大，景深越小；光圈越小，景深越大；
2、镜头焦距越长，景深越小；焦距越短，景深越大；
3、拍摄距离越远，景深越大；距离越近，景深越小；

<10> 镜头上调节位置：
光圈：
通过调节镜头的光圈大小，可以控制镜头的入光量，图像的亮度也随之而变化；
聚焦：
图像不清晰，难以呈现很好的图像效果，降低系统精度，直接影响到机器视觉系统的整体性能，增加图像处理难度。

光源的了解

<1> 光源种类：

1. LED
   LED 是 Light Emitting Diode 的首字缩写，其含义为「发光的二极管（半导体元件）」，因此也被称为发光二极管。荧光灯是利用放电现象间接的将电能转换为光，而 LED 则是直接将电子转换为光，因此能量的转换效率较高 = 节省电力的光源。另外，由于 LED 还具有使用寿命较长，波长（颜色）丰富等优点，因此近年来被广泛使用于图像处理中。
   
2. 荧光灯
   将弧光放电现象产生的紫外线作为荧光体，从而发出可视光的光源。一般来说，其结构为，在玻璃管的内侧涂上荧光体，将水银密封在里面，然后在管子的两端安装用来放电的电极。
   在过去，由于它比白帜灯的寿命长而被广泛应用。其发光的颜色以白色为主，此外还有昼光色、更加接近自然光的三波长荧光灯等。另外，其形状分为直管荧光灯、环状荧光灯、灯泡型荧光灯等。
   
3. 卤素灯
   将氮气等惰性气体和碘元素等卤素气体密封在玻璃球内部，从而制成的一种灯泡。发光原理与白帜灯相同，但是卤素灯具有灯光更加明亮，使用寿命更长的特征。被应用于汽车的前照灯和商场的探照灯、摄影棚的照明灯等用途。发光颜色只有暖白色。
   
4. 氙气灯
   可以发出接近自然光的光源的放电灯。它是将疝气密封在石英管中制成的。它与白帜灯相比，具有较明亮、
   消耗电力较低、寿命较长的特色。也被称为 xenon lamp。主要被应用在映射装置的光源或者投光仪等用途。
   可以分为短弧灯、长弧灯、闪光灯等。
   
5. 金属卤素灯
   高亮度放电等（HID）的一种，它是将金属卤素（卤化金属）和水银的混合蒸汽密封在灯内，通过弧光放电进行发光的。也简称为金卤灯。它不仅亮度较高，而且还具有消耗电力较少，使用寿命较长等优点。
   以往被使用在道路和隧道的照明。而现在还被应用在大型建筑物的室内照明、观赏鱼类的鱼缸照明、体育场馆的晚间比赛照明等用途。
   
   各种照明的相对特性：
   
   <2> LED光源结构：
   LED 是利用在 N 型和 P 型的接合半导体中通电而产生的电子的移动使得电子（-）和正孔（+）接触并结合时发生的发光现象制作的。光的波长（颜色）则将根据半导体的禁带（电子不能存在的领域）的大小不同而各不相同。因此，出现了与各种波长对应的半导体材料。近年来，由于发明了以氮化镓为材料的蓝色发光二极管、白色发光二极管，其用途也扩大到显示屏和照明等用途中。
   
   补充：
   常见的光源（红蓝绿白）：
   
   常见的光源（种类）：
   
   <3> 光源控制器
   
   控制器的用途：
   光源控制器最主要的目的是给光源供电，控制光源的亮度及照明状态（亮，灭），还可以通过给控制器外部触发信号（开关量或电平信号）来实现光源的频闪，进而有效延长光源的使用寿命。控制器分模拟控制器和数字控制器两大类，数字控制器可以通过RS232或以太网与PC设备进行通信。工作人员可以根据实际需求选择不同类型的控制器。
   控制器技术特点：
   大部分控制器采用了电流控制方式。特有的自动 负载技术。特有的可编程触发功能。高效灵活的通信协议。响应时间短，触发频率高检测。

<4> 光源的作用
一幅好的图像应该具备如下条件：
对比度：对比度明显，目标与背景的边界对比清晰，要求目标与背景灰度值至少相差30以上；
均匀性：要求图片整体亮度均匀，或整体不均匀但灰度差不影响图像处理；
真实性：与颜色有关的还需要颜色真实，亮度适中，不过度曝光，过度像素满足精度检测要求。

传统算法

主要是利用Halcon开发缺陷检测算法（后续会补充Halcon深度学习检测算法和海康AI缺陷检测平台.sol程序算法）
参考：
Halcon速通（待补充ing）；
Halcon破解License。
花了一点时间记录和整理的文档：

链接：My CSDN。
源代码：暂不开源。

DL深度学习方法

主要是利用开源的框架和模型进行改进。

此博客也做成了PPT格式：

链接：My CSDN_PPT。