深度学习（七）-计算机视觉基础

计算机视觉

• 计算机视觉在广义上是和图像相关的技术总称。包括图像的采集获取，图 像的压缩编码，图像的存储和传输，图像的合成，三维图像重建，图像增强，图像修复，图像的分类和识别，目标的检测、跟踪、表达和描述，特征提取，图像的显示和输出等等。
• 随着计算机视觉在各种场景的应用和发展，已有的图像技术也在不断的更 新和扩展。

计算机视觉的应用

计算机视觉技术已经在许多领域得到了广泛的应用，以下是一些典型的例子：

• 公安安防：人脸识别，指纹识别，场景监控，环境建模。
• 生物医学：染色体分析，X光、CT图像分析，显微医学操作。
• 文字处理：文字识别，文档修复，办公自动化，垃圾邮件分类。
• 国防军事：资源探测，军事侦察，导弹路径规划。
• 智能交通：公路交通管理，电子警察执法抓拍系统，自动驾驶车辆。
• 休闲娱乐：电影特效，视频编辑，人像美颜，体感游戏，VR。

数字图像处理基础

人眼成像原理

人的眼睛近似为一个球体。物体的光线通过角膜和晶状体的折射，在视网膜上成倒立缩小的实像。

视网膜上分布光线接收的神经细胞，分为锥状体和杆状体。每只眼睛有600万- 700万个锥状体，其对颜色灵敏度很高，负责亮光视觉。有7500万- 15000万杆状体，杆状体没有颜色感觉，负责暗视觉。

计算机成像原理

• 数字图像的采集过程类似人眼，使用大量的光敏传感器构成的阵列获取图像。成像的质量由传感器的单元数，尺寸和传感性能决定。
• 多数传感器的输出是连续的电压波形，图像数字化就是将一副画面的数据转换为计算机能够处理的数字形式。
• 图像数字化包括两种处理过程：采样和量化。

图像采样与分辨率

• 将空间上连续的图像变换成离散点的操作称为采样。
• 采样是按照某种时间间隔或空间间隔，采集模拟信号的过程，即空间离散化。
• 图像数字化的采样过程是将空间上连续的图像变化为离散的点。
• 采样的效果由传感器的采样间隔和采样孔径决定，采样间隔和采样孔径的大小是两个很重要的参数。

图像采样与分辨率

• 采样后得到离散图像的尺寸称为图像分辨率。分辨率是数字图像可辨别的最小细节。
• 分辨率由宽（width）和高（height）两个参数构成。宽表示水平方向的细节数，高表示垂直方向的细节数。

例如：

• 一副640*480分辨率的图像，表示这幅图像是由640*480=307200个点组成。
• 一副1920*1080分辨率的图像，表示这幅图像是由1920*1080= 2073600个点组成

• 采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但数据量大。 下图展示了lena图的分辨率从512x512依次降低到8x8的图像效果。

灰度级与灰度图像

• 灰度级（depth）表征了每个采样点的传感器输出中可分辨的最小变化。
• 灰度级通常是2的整数次幂。我们用m级或者n位来表示灰度级。图像数据的灰度级越多视觉效果就越好。计算机中最常用的是8位图像。

例如：

• 一副8位的图像，表示每个采样点有2^8=256级。从最暗到最亮，可以分辨256个级别。
• 一副32级的灰度图像，每个采样点从最暗到最亮，可以分辨32个级别。

量化等级越多，所得图像层次越丰富，灰度分辨率高，图像质量好，但数据量大。下图展示了lena图的灰度级从256级依次降低到4级的图像效果。

单通道的数字图像被称为灰度图。通常，单通道记录了采样点的亮度信息，例如8位的图像，0表示最暗（黑色），255表示最亮（白色）。

彩色图像与色彩空间

为了表征彩色图像，我们需要使用多通道数字图像。最普遍的方式是使用RGB颜色空间。RGB颜色空间中每个像素点有三个维度，分别记录在红（Red）、绿（Green）、蓝（Blue）三原色的分量上的亮度。

另一种常用的颜色空间是HSV，该颜色空间可以用一个圆锥来表示。

HSV表示色相(hue)、饱和度(saturation)和亮度 (value)。

• H表示颜色的相位角(hue) ，取值范围是0---360；
• S表示颜色的饱和度(saturation) ，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间 的比率；
• •V表示色彩的明亮程度(value) ，范围从0到1。

 

• YUV：亮度信号Y和两个色差信号R－Y、B－Y，最后发送端将亮度和色差三个信号分别进行编码。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图就是黑白灰度图。 YUV(亦称YCrCb)是被欧洲电视系统所采用的一种颜色编码方法。YUV色彩空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。与RGB视频信号传输相比，YUV只需占用极少的频宽。
• CMYK ：CMYK颜色空间应用于印刷工业,印刷业通过青(C)、品(M)、黄(Y)、黑(BK)四色油墨的不同网点面积率的叠印来表现丰富多彩的颜色和阶调。
• Lab：Lab的色彩空间要比RGB模式和CMYK模式的色彩空间大，自然界中任何一点色都可以在Lab空间中表达出来。

颜色空间变换

在计算机视觉中，尤其是颜色识别相关的算法设计中，各种颜色空间混合使用是常见的方法。RGB，HSV，YUV等常见颜色空间可以通过计算公式实现相互转化，这个过程叫做颜色空间变化。颜色变换的计算公式比较复杂，通常图像处理库会提供颜色空间变化的API给用户调用。

常用图像处理技术

色彩处理

• 灰度化：将彩色图像转换为灰度图像
• 二值化/反二值化：将灰度图像转换为只有两种颜色的图像
• 色彩提取：提取指定的颜色
• 直方图均衡化：调节图像统计直方图分布
• 亮度、饱和度、色调调整

形态相关操作

• 仿射变换：旋转、平移
• 缩放、裁剪
• 图像相加、相减
• 透视变换
• 图像腐蚀、膨胀、形态学梯度

色彩梯度

• 模糊
• 锐化
• 边沿检测

轮廓处理

• 轮廓查找、绘制
• 绘制矩形、圆型、椭圆包围
• 多边形拟合