Opencv之图像梯度处理和绘制图像轮廓

一、梯度处理的sobel算子函数

处理示意

Sobel 算子是一种常用的图像边缘检测方法，结合了一阶导数和高斯平滑，用于检测图像的梯度信息。

1、功能

Sobel 算子用于计算图像在 x 和 y 方向的梯度，主要功能包括：

• 强调图像中灰度值的变化部分，用于检测边缘。
• 计算水平和垂直方向的梯度值。
• 提供平滑效果以减少噪声干扰（相比于简单差分方法）。

2、参数

在 OpenCV 中，cv2.Sobel() 是实现 Sobel 算子的主要函数。其常用参数包括：

参数名	说明
src	输入图像，它应该是灰度图像。
ddepth	输出图像的所需深度（数据类型）。通常，你可以使用 -1 来表示与输入图像相同的深度，或者使用如 cv2.CV_64F 等来指定特定的深度。由于梯度计算可能产生负值，因此建议使用能够包含负数的数据类型。
dx	x 方向上的导数阶数。如果你想要计算 x 方向上的梯度，设置这个参数为 1；如果你不关心 x 方向上的梯度，设置这个参数为 0。
dy	y 方向上的导数阶数。如果你想要计算 y 方向上的梯度，设置这个参数为 1；如果你不关心 y 方向上的梯度，设置这个参数为 0。通常，你不会同时设置 dx 和 dy 都为 0。
ksize	Sobel 核的大小。它必须是 1、3、5、7 或 9 之一。这个参数决定了用于计算梯度的滤波器的大小。大小为 1 时表示使用最小的滤波器，但通常你会使用更大的滤波器来平滑梯度计算。
scale	可选参数，表示计算梯度时的缩放因子。默认值为 1，表示不进行缩放。你可以通过调整这个参数来放大或缩小梯度的结果。
delta	可选参数，表示在将结果存储到目标图像之前要添加到结果中的可选增量值。默认值为 0，表示不添加增量。
borderType	像素外推方法，例如 cv2.BORDER_DEFAULT、cv2.BORDER_REFLECT 等。这个参数决定了在图像边界处如何处理像素外推。

3、返回值

• 返回一个与输入图像尺寸相同的单通道图像。
• 结果图像的每个像素值代表该点的梯度值。

4、应用

Sobel 算子广泛用于以下应用场景：

①边缘检测：

用于检测图像中显著的灰度值变化，通常是物体的边缘。

②图像增强：

提取图像的边缘特征以增强感兴趣的区域。

③特征提取：

在计算机视觉任务中，用作边缘特征检测的一步，例如人脸检测、车道线检测等。

④梯度方向计算：

与梯度幅值一起，用于方向敏感的应用，如方向滤波。

5、代码示例

import cv2# 读取一张图
img = cv2.imread("./shudu.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 使用sobel算子
# 水平梯度
img_sobel = cv2.Sobel(img, -1, 0, 1, ksize=3)
# 垂直梯度
img_sobel_2 = cv2.Sobel(img, -1, 1, 0, ksize=3)cv2.imshow('image', img)
cv2.imshow('img_sobel', img_sobel)
cv2.imshow('img_sobel_2', img_sobel_2)cv2.waitKey(0)

Sobel算子代码效果

二、梯度处理Laplacian算子函数

Laplacian 算子是图像处理中的一种二阶导数算子，用于检测图像的边缘。它通过计算图像像素值的二阶导数（即亮度变化率）来突出边缘信息。

1、功能

①边缘检测：

通过计算图像的二阶导数，检测图像中灰度变化较大的区域。

②增强图像细节：

可以提取图像的边缘特征，用于后续处理。

③方向无关：

不同于 Sobel 算子，Laplacian 算子对方向不敏感，计算的是梯度的二阶导数。

2、参数

在 OpenCV 中，cv2.Laplacian() 函数实现了 Laplacian 算子的功能，常用参数包括：

参数名	说明
src	输入图像，它应该是灰度图像。
ddepth	输出图像的所需深度。这个参数决定了输出图像的深度（数据类型）。通常，你可以使用 -1 来表示与输入图像相同的深度，或者使用 cv2.CV_64F 等来指定特定的深度。由于拉普拉斯算子可能产生负值，因此通常建议使用能够包含负数的数据类型，如 cv2.CV_64F。
ksize	算子的大小。它必须是 1、3、5 或 7 之一。这个参数决定了用于计算拉普拉斯算子的滤波器的大小。大小为 1 时表示使用 4 邻域拉普拉斯算子，其他大小则使用更大的滤波器。
scale	可选参数，表示计算拉普拉斯算子时的缩放因子。默认值为 1，表示不进行缩放。你可以通过调整这个参数来放大或缩小拉普拉斯算子的结果。
delta	可选参数，表示在将结果存储到目标图像之前要添加到结果中的可选增量值。默认值为 0，表示不添加增量。
borderType	像素外推方法，例如 cv2.BORDER_DEFAULT、cv2.BORDER_REFLECT 等。这个参数决定了在图像边界处如何处理像素外推。当 ksize 大于 1 时，这个参数才有意义。

3、返回值

• 返回一个单通道的梯度图像。
• 每个像素值表示该点的梯度变化强度（即边缘强度）。

4、应用

①边缘检测：

检测图像中显著的灰度变化区域，用于突出边缘。

②特征提取：

在计算机视觉任务中，用于提取边缘作为特征输入，例如物体检测、图像配准等。

③图像增强：

提高图像的细节部分，增强局部特征。

④前处理步骤：

常作为更复杂图像处理（如 Hough 变换）的前置步骤。

5、代码示例

import cv2# 读取一张图
img = cv2.imread("./shudu.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 使用拉普拉斯算子
img_lap = cv2.Laplacian(img, -1, ksize=3)cv2.imshow('image', img)
cv2.imshow('img_lap', img_lap)cv2.waitKey(0)

Laplacian算子代码效果

三、Canny算子函数

双阈值筛选原理

Canny 算子是一种多阶段的图像边缘检测算法，通过计算梯度并结合非极大值抑制和双阈值处理，精准地提取图像中的边缘。

1、功能

①边缘检测：

检测图像中灰度值变化最显著的区域，提取清晰的边缘。

②降噪和增强对比：

使用高斯滤波去噪并结合梯度计算增强边缘对比。

③多阶段边缘检测：

包括梯度计算、非极大值抑制、双阈值处理、边缘跟踪等，能准确且高效地提取边缘。

2、参数

在 OpenCV 中，cv2.Canny() 是实现 Canny 算子的函数，常用参数如下：

3、返回值

• 返回一个与输入图像尺寸相同的二值图像（边缘图像）。
• 像素值为 0（非边缘）或 255（边缘）。

4、应用

Canny 算子因其高精度和多功能性，被广泛应用于以下场景：

①物体边缘检测：

用于检测图像中物体的边界，适用于形状识别、分割等任务。

②特征提取：

用于提取边缘特征作为后续算法的输入，例如 Hough 变换、角点检测等。

③图像增强：

突出图像中的边缘部分，提高关键特征的显著性。

④医学图像处理：

用于精确检测器官或病灶的边缘。

5、代码示例

import cv2img = cv2.imread("./card.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 灰度化
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 二值化
_, img_binary = cv2.threshold(img_gray, 127, 255,cv2.THRESH_BINARY + cv2.THRESH_OTSU)# 寻找轮廓
contours, hierarchy = cv2.findContours(img_binary,cv2.RETR_LIST,   # 查询轮廓的方式cv2.CHAIN_APPROX_SIMPLE  # 保存轮廓点坐标的方式)# 绘制轮廓
img_copy = img.copy()
img_draw = cv2.drawContours(img_copy, # 要绘制轮廓的图像contours, # 轮廓的顶点坐标集 列表-1, # 轮廓列表的索引值，-1表示绘制所有轮廓(0, 0, 255),  # 颜色3   # 轮廓线条粗细)cv2.imshow('image', img)
cv2.imshow('image_draw', img_draw)
cv2.waitKey(0)

Canny算子函数代码效果

四、findContours函数

cv2.findContours 是 OpenCV 中用于提取图像轮廓的函数。它在图像分割和分析中非常常用，例如边界检测、形状分析等。

1、功能

①轮廓检测：

在二值化图像中提取轮廓信息。

②轮廓表示：

提取轮廓的点集，可用于计算形状特征（面积、周长等）。

③图像分割：

根据轮廓信息将图像划分为不同的区域。

2、参数

在 OpenCV 中，cv2.findContours() 是用于提取图像轮廓的函数，常用参数如下：

参数名	类型	说明
image	单通道图像	必选参数，输入图像，通常是一个二值图像（即只包含黑白两种颜色的图像），其中白色部分代表要检测的对象，黑色部分代表背景。也可以是非二值图像，但通常需要先进行某种形式的预处理，如阈值分割或边缘检测。
mode	轮廓检索模式	可选参数（某些版本中必需），决定轮廓的层次结构和检索方式。
method	轮廓逼近方法	可选参数（某些版本中必需），决定轮廓点集的存储方式（完整存储或压缩）。
offset‌	轮廓点的偏移量	可选参数，默认值为 (0, 0)，轮廓点的偏移量。这个参数允许你在原始图像坐标系的基础上对轮廓点进行平移。

其中：

①常用的 mode 参数：

• cv2.RETR_EXTERNAL：只检索最外层轮廓。
• cv2.RETR_LIST：检索所有轮廓，但不创建任何父子关系。
• cv2.RETR_CCOMP：检索所有轮廓，并将它们组织为两层结构，其中顶层是连通域的外边界，底层是孔的内边界。
• cv2.RETR_TREE：检索所有轮廓，并重建完整的层次结构。

②常用的 method 参数：

• cv2.CHAIN_APPROX_NONE：存储所有的轮廓点，不进行任何近似。
• cv2.CHAIN_APPROX_SIMPLE：压缩水平、垂直和对角线段，只保留它们的终点。
• cv2.CHAIN_APPROX_TC89_L1、cv2.CHAIN_APPROX_TC89_KCOS：应用 Teh-Chin 链式近似算法的一种变体。

3、返回值

①contours（某些版本）：

这个参数是用来存储检测到的轮廓的。它是一个 Python 列表，其中每个元素都是一个轮廓，轮廓是由点组成的 NumPy 数组。

②hierarchy（某些版本）：

轮廓的层次结构信息。这是一个 NumPy 数组，包含了关于轮廓之间关系的信息（例如，哪个轮廓是另一个轮廓的父轮廓或子轮廓）。

4、应用

①形状分析：

提取轮廓用于计算面积、周长、矩形包围框等。
常用于图像中的目标检测和物体分类。

②边界检测：

确定图像中各个目标的边界，用于绘制轮廓或进行边界处理。

③图像分割：

根据轮廓信息分割图像，提取感兴趣的区域。

④嵌套关系分析：

使用 hierarchy 信息分析轮廓的父子关系，用于目标的层次分类。

5、代码示例

import cv2img = cv2.imread("./card.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 灰度化
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 二值化
_, img_binary = cv2.threshold(img_gray, 127, 255,cv2.THRESH_BINARY + cv2.THRESH_OTSU)# 寻找轮廓
contours, hierarchy = cv2.findContours(img_binary,cv2.RETR_LIST,   # 查询轮廓的方式cv2.CHAIN_APPROX_SIMPLE  # 保存轮廓点坐标的方式)img_copy = img.copy()
img_draw = cv2.drawContours(img_copy, contours, -1, (0, 0, 255),  3)cv2.imshow('image', img)
cv2.imshow('image_draw', img_draw)
cv2.waitKey(0)

findContours函数代码效果

五、drawContours函数

OpenCV 的 cv2.drawContours 函数用于在图像上绘制轮廓，常与 cv2.findContours 搭配使用。它可以绘制单个或多个轮廓，还能对层次结构进行可视化。

1、功能

①轮廓绘制：

在图像上绘制由 findContours 提取的轮廓。

②层次关系可视化：

根据轮廓的层次关系选择性地绘制轮廓。

③调试和展示：

在处理图像分割、边缘检测、物体检测等任务时，用于可视化轮廓信息。

2、参数

参数名	类型	说明
contourIdx(可选，默认为 -1)	int	指定要绘制的轮廓的索引。如果为 -1，则绘制所有轮廓。否则，只绘制指定索引处的轮廓。
thickness(可选，默认为 1)	int	轮廓的厚度。如果为正数，则轮廓将被绘制为指定厚度的线条。如果为负数（例如 -1），则轮廓内部将被填充。
lineType(可选，默认为 cv2.LINE_8)	int	线条的类型。它决定了轮廓线条的平滑度。cv2.LINE_8 表示 8-连通线，cv2.LINE_4 表示 4-连通线，cv2.LINE_AA 表示抗锯齿线。
maxLevel(可选，默认为 INT_MAX)	int	用于控制绘制轮廓的层次深度。当 contourIdx 参数为 -1 时，这个参数才有效。它决定了要绘制的轮廓的最大层次深度。
contours(必选)	list	这是一个 Python 列表，包含要绘制的所有轮廓。每个轮廓都是一个点集，通常是由 cv2.findContours() 函数返回的 NumPy 数组。
image(必选)	ndarray	这是要在其上绘制轮廓的输入图像。它应该是一个三通道图像（例如，彩色图像）或单通道图像（例如，灰度图像），但通常是三通道图像，以便可以使用不同的颜色来绘制轮廓。
hierarchy(可选，默认为 None)	ndarray	轮廓的层次结构信息。这是一个 NumPy 数组，通常由 cv2.findContours() 函数返回。它包含了关于轮廓之间关系的信息，例如哪个轮廓是另一个轮廓的父轮廓或子轮廓。在绘制所有轮廓时，这个参数通常不需要。
color(可选，默认为 (0, 255, 0))	tuple	轮廓的颜色。它是一个三元组，表示 BGR（蓝、绿、红）颜色空间中的颜色。例如，(0, 255, 0) 表示绿色。
offset(可选，默认为 (0, 0))	tuple	轮廓点的偏移量。这个参数允许你在原始图像坐标系的基础上对轮廓点进行平移。

3、返回值

• 无返回值。
• 函数直接在输入图像上绘制轮廓。

4、应用

①轮廓可视化：

在图像处理任务中，显示 findContours 提取的轮廓信息，用于调试和验证算法效果。

②形状分割：

将图像中提取的目标边界可视化，辅助物体分割和分析。

③层次关系分析：

绘制父轮廓、子轮廓等层次结构，用于嵌套目标的可视化。

④目标检测：

在图像上标记物体边界，显示检测结果。

5、代码示例

import cv2
import numpy as np# 读取图像并调整大小
img = cv2.imread("./02.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 转为灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 二值化
_, img_binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)# 寻找轮廓
contours, hierarchy = cv2.findContours(img_binary, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)# 绘制轮廓
img_copy = img.copy()
img_draw = cv2.drawContours(img_copy, # 要绘制轮廓的图像contours, # 轮廓的顶点坐标集 列表-1, # 轮廓列表的索引值，-1表示绘制所有轮廓(0, 0, 255),  # 颜色3   # 轮廓线条粗细)cv2.imshow('image', img)
cv2.imshow('image_draw', img_draw)
cv2.waitKey(0)

drawContours函数代码效果

六、透视变换函数

透视变换是 OpenCV 提供的一种几何变换，用于将图像从一种视角转换为另一种视角。OpenCV 提供了 cv2.getPerspectiveTransform 和 cv2.warpPerspective 两个函数来实现透视变换。

1、功能

①cv2.getPerspectiveTransform：

根据图像的原始四个点坐标（源点）和目标四个点坐标（目标点），计算透视变换矩阵。

②cv2.warpPerspective：

根据透视变换矩阵，对图像进行透视变换，生成新的视角图像。

透视变换通常用于以下场景：

• 将倾斜或变形的图像矫正为平面视角。
• 提取图像中的特定区域（如卡片、文档、白板等）。
• 改变图像的视角以匹配某些特定需求。

2、参数

①cv2.getPerspectiveTransform 的参数

②cv2.warpPerspective 的参数

3、返回值

①cv2.getPerspectiveTransform

返回 3×3 的透视变换矩阵。

②cv2.warpPerspective

返回透视变换后的图像。

4、应用

①图像矫正：

将倾斜的图像矫正为标准平面视角，例如卡片、书本、文档等。

②ROI 提取：

精确提取图像中的特定区域，适用于目标检测或图像分割任务。

③视角匹配：

在 AR 和 3D 应用中，调整图像的视角以匹配其他图像或虚拟场景。

④增强现实：

将二维图像贴合到三维场景中，通过透视变换实现仿真效果。

5、代码示例

import cv2
import numpy as np# 1、 读取图像并调整大小
img = cv2.imread("./card.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 2、 获取透视变换矩阵
# 原图中的四个点
points1 = np.array([[100, 50], [350, 75], [70, 200], [325, 230]],dtype=np.float32)
# 目标图中的四个点
points2 = np.array([[0, 0], [img.shape[1], 0], [0, img.shape[0]], [img.shape[1], img.shape[0]]],dtype=np.float32)
M = cv2.getPerspectiveTransform(points1, points2)# 3、透视变换
img_warp = cv2.warpPerspective(img, M, (img.shape[1], img.shape[0]))cv2.imshow('image', img)
cv2.imshow('image_warp', img_warp)
cv2.waitKey(0)

透视变换函数代码效果

七、举例轮廓的外接边界框，并对比说明

在 OpenCV 中，可以通过 cv2.boundingRect 和 cv2.minAreaRect 方法为轮廓生成外接边界框。两者的功能和应用有所不同：

1. 外接边界框方法

①cv2.boundingRect：

生成一个与轮廓外接的水平矩形。

• 边界框的边与坐标轴平行。
• 简单快速，但不能适应旋转的物体。

②cv2.minAreaRect：

生成一个最小面积的旋转矩形。

• 边界框可以适应物体的方向，能紧贴目标轮廓。
• 返回矩形的中心点、宽高和旋转角度。

2. 区别对比

功能	水平外接矩形 (cv2.boundingRect)	最小面积旋转矩形 (cv2.minAreaRect)
特点	水平矩形，边平行于坐标轴	最小面积矩形，可旋转以适应物体方向
适用场景	简单场景或对方向无关的分析	复杂场景，需要考虑方向的分析
效率	更高	相对较低
返回值	矩形的左上角坐标和宽高	矩形中心点坐标、宽高和旋转角度

3. 示例代码

以下代码展示如何提取和绘制水平外接矩形和最小面积旋转矩形，并对比效果。

import cv2
import numpy as np# 读取图像并调整大小
img = cv2.imread("./outline.png")
img = cv2.resize(img, (img.shape[1] // 2, img.shape[0] // 2))# 灰度化
img_gray = cv2.cvtColor(img, cv2.COLOR_BGRA2GRAY)
# 二值化
_, img_binary = cv2.threshold(img_gray,127,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)
# 寻找轮廓
contours, _ = cv2.findContours(img_binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 定义轮廓
img_draw = img.copy()# 给所有轮廓都绘制 外接
for i in contours:# 第一种：调用外接矩形函数，获取当前轮廓点的左上角的坐标(x, y) 宽w 高hx, y, w, h = cv2.boundingRect(i)# 画矩形cv2.rectangle(img_draw, [x, y], [x+w, y+h], (0, 255, 0), 2)# 第二种：调用最小面积外接矩形函数，获取包含三个元素的元组（中心点坐标、长宽、旋转角度）# ((center_x, center_y), (width, height), angle)ret = cv2.minAreaRect(i)# 调用cv2.boxPoints(ret)可以获取旋转矩阵的四个顶点box = np.int32(cv2.boxPoints(ret))# 绘制轮廓cv2.drawContours(img_draw, [box], -1, (255, 255, 0), 3)cv2.imshow('image', img)
cv2.imshow('image_draw', img_draw)
cv2.waitKey(0)

水平外接矩形和最小面积旋转矩形对比

4. 输出分析

①Bounding Rectangles（水平外接矩形）：

每个目标轮廓都被一个绿色矩形框住。
边界框总是与坐标轴平行，不能很好地适应旋转的目标。

②Min Area Rectangles（最小面积旋转矩形）：

每个目标轮廓都被一个蓝色矩形框住。
边界框根据目标的方向自动旋转，紧贴目标，适合复杂场景。

5. 使用建议

①cv2.boundingRect：

简单场景，目标方向较一致时使用，例如：

• 检测物体大小。
• 计算水平分布特征。

优势：计算快，简单易用。

②cv2.minAreaRect：

目标方向不一致或需要精确边界时使用，例如：

• 目标形状分析。
• 计算旋转目标的特征。

优势：灵活精确，可适应旋转物体。