22.OpenCV轮廓匹配原理介绍与使用

OpenCV轮廓匹配原理介绍与使用

1. 轮廓匹配的基本概念

轮廓匹配（Contour Matching）是计算机视觉中的一种重要方法，主要用于比较两个轮廓的相似性。它广泛应用于目标识别、形状分析、手势识别等领域。

在 OpenCV 中，轮廓匹配主要基于形状匹配算法，其中 matchShapes 是核心函数。该函数用于计算两个轮廓之间的相似度，返回一个数值，该数值越小表示两个轮廓越相似。

2. 轮廓匹配的算法原理

Hu矩（Hu Moments）是由Ming-Kuei Hu在1962年提出。OpenCV 采用 Hu 矩（Hu Moments）进行轮廓匹配。Hu 矩是一组不变矩，可以用于描述图像的形状特征，并且具有旋转、缩放和平移不变性。Hu矩是通过对图像的归一化中心矩进行特定的线性组合得到的。具体而言，它们是基于二阶和三阶的归一化中心矩计算的。

Hu 矩由 7 个不变矩组成：

$$\begin{array}{rl}{I}_1& ={\eta }_{20}+{\eta }_{02}\\ I_2& =({\eta }_{20}-{\eta }_{02}{)}^2+4{\eta }_{11}^2\\ I_3& =({\eta }_{30}-3{\eta }_{12}{)}^2+(3{\eta }_{21}-{\eta }_{03}{)}^2\\ I_4& =({\eta }_{30}+{\eta }_{12}{)}^2+({\eta }_{21}+{\eta }_{03}{)}^2\\ I_5& =({\eta }_{30}-3{\eta }_{12})({\eta }_{30}+{\eta }_{12})\left[({\eta }_{30}+{\eta }_{12}{)}^2-3({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & +(3{\eta }_{21}-{\eta }_{03})({\eta }_{21}+{\eta }_{03})\left[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ I_6& =({\eta }_{20}-{\eta }_{02})\left[({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & +4{\eta }_{11}({\eta }_{30}+{\eta }_{12})({\eta }_{21}+{\eta }_{03})\\ I_7& =(3{\eta }_{21}-{\eta }_{03})({\eta }_{30}+{\eta }_{12})\left[({\eta }_{30}+{\eta }_{12}{)}^2-3({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & -({\eta }_{30}-3{\eta }_{12})({\eta }_{21}+{\eta }_{03})\left[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\end{array}$$

通过计算 Hu 矩的值，OpenCV 使用 matchShapes 进行轮廓匹配.

需要注意的是，虽然Hu矩对常见的几何变换具有不变性，但在实际应用中，噪声、遮挡和分割质量等因素可能影响其稳定性。因此，在处理实际问题时，需综合考虑这些因素对Hu矩计算的影响。

3. matchShapes 函数介绍

3.1 函数原型

double matchShapes(InputArray contour1, InputArray contour2, int method, double parameter);

3.2 参数说明

• contour1：第一个轮廓（vector<Point> 格式）。
• contour2：第二个轮廓（vector<Point> 格式）。
• method：匹配方法，可选值：
  • CONTOURS_MATCH_I1：$d(I)=\sum \left|\begin{array}{c}\frac{1}{I_i^{(1)}}-\frac{1}{I_i^{(2)}}\end{array}\right|$
  • CONTOURS_MATCH_I2： $d(I)=\left|\begin{array}{c}{I}_i^{(1)}-I_i^{(2)}\end{array}\right|$
  • CONTOURS_MATCH_I3： $d(I)=\sum \left|\begin{array}{c}\frac{1}{i_1^{(1)}}-\frac{1}{i_i^{(2)}}\end{array}\right|$
• parameter：该参数在当前版本未使用，通常填 0。

3.3 返回值

返回两个轮廓之间的相似性分数，数值越小，轮廓越相似。

4. 轮廓匹配

4.1示例代码1：直接匹配

#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>using namespace cv;
using namespace std;int main() 
{// 1. 读取输入图像和模板图像，并转换为灰度图Mat inputImg = imread("E:/image/pic1.png");Mat templateImg = imread("E:/image/templ.png");if (inputImg.empty() || templateImg.empty()) {cerr << "图像加载失败！" << endl;return -1;}Mat grayInput, grayTemplate;cvtColor(inputImg, grayInput, COLOR_BGR2GRAY);cvtColor(templateImg, grayTemplate, COLOR_BGR2GRAY);// 2. 对图像应用阈值处理得到二值图像Mat binaryInput, binaryTemplate;threshold(grayInput, binaryInput, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);threshold(grayTemplate, binaryTemplate, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);// 3. 检测轮廓vector<vector<Point>> contoursInput, contoursTemplate;vector<Vec4i> hierarchy;findContours(binaryInput, contoursInput, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);findContours(binaryTemplate, contoursTemplate, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);// 4. 假设模板图像只包含一个主要轮廓，取第一个轮廓作为模板if (contoursTemplate.empty()) {cerr << "模板轮廓检测失败！" << endl;return -1;}cout << contoursTemplate.size();vector<Point> templateContour = contoursTemplate[0];// 5. 遍历输入图像中的所有轮廓，计算与模板轮廓的匹配度for (size_t i = 0; i < contoursInput.size(); i++) {double matchScore = matchShapes(templateContour, contoursInput[i], CONTOURS_MATCH_I1, 0);cout << "轮廓 " << i << " 匹配分数: " << matchScore << endl;// 在输入图像上绘制轮廓并标注匹配分数if (matchScore<0.05){drawContours(inputImg, contoursInput, static_cast<int>(i), Scalar(0, 255, 0), 2);}Moments m = moments(contoursInput[i]);int cx = static_cast<int>(m.m10 / m.m00);int cy = static_cast<int>(m.m01 / m.m00);putText(inputImg, format("%.2f", matchScore), Point(cx, cy), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 255), 1);}//6. 显示结果\n   imshow("输入图像轮廓匹配", inputImg);imshow("模板图像", templateImg);waitKey(0);return 0;
}

绿色为找到的轮廓

4. 2示例代码2：hu距匹配

#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>using namespace cv;
using namespace std;int main()
{// 1. 读取输入图像和模板图像，并转换为灰度图Mat inputImg = imread("E:/image/pic1.png");Mat templateImg = imread("E:/image/templ.png");if (inputImg.empty() || templateImg.empty()) {cerr << "图像加载失败！" << endl;return -1;}Mat grayInput, grayTemplate;cvtColor(inputImg, grayInput, COLOR_BGR2GRAY);cvtColor(templateImg, grayTemplate, COLOR_BGR2GRAY);// 2. 对图像应用阈值处理得到二值图像Mat binaryInput, binaryTemplate;threshold(grayInput, binaryInput, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);threshold(grayTemplate, binaryTemplate, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);// 3. 检测轮廓vector<vector<Point>> contoursInput, contoursTemplate;vector<Vec4i> hierarchy;findContours(binaryInput, contoursInput, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);findContours(binaryTemplate, contoursTemplate, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);// 4. 假设模板图像只包含一个主要轮廓，取第一个轮廓作为模板if (contoursTemplate.empty()) {cerr << "模板轮廓检测失败！" << endl;return -1;}cout << contoursTemplate.size();vector<Point> templateContour = contoursTemplate[0];Moments mTemplate = moments(contoursTemplate[0]);Mat huTemplate;HuMoments(mTemplate, huTemplate);// 5. 遍历输入图像中的所有轮廓，计算与模板轮廓的匹配度for (size_t i = 0; i < contoursInput.size(); i++) {// 在输入图像上绘制轮廓并标注匹配分数Moments m = moments(contoursInput[i]);Mat hu;HuMoments(m, hu);double matchScore = matchShapes(hu, huTemplate, CONTOURS_MATCH_I1, 0);cout << "轮廓 " << i << " 匹配分数: " << matchScore << endl;if (matchScore < 0.005){drawContours(inputImg, contoursInput, static_cast<int>(i), Scalar(0, 255, 0), 2);}int cx = static_cast<int>(m.m10 / m.m00);int cy = static_cast<int>(m.m01 / m.m00);putText(inputImg, format("%.2f", matchScore), Point(cx, cy), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 255), 1);}//6. 显示结果\n   imshow("输入图像轮廓匹配", inputImg);imshow("模板图像", templateImg);waitKey(0);return 0;
}

5. 轮廓匹配的应用场景

OpenCV 的 matchShapes 通过 Hu 矩计算轮廓的相似性，是一种高效的轮廓匹配方法。适用于各种形状分析任务，在实际应用中，可以结合其他特征进一步优化匹配结果。
常用场景

1. 目标识别：如手写字符识别、手势识别，车牌识别等。
2. 工业检测：用于检测物品形状偏差。
3. 医学影像分析：对比医学影像中的病变轮廓。
4. 形状检索：在数据库中寻找相似形状的对象。