opencv校正图像

---

1、前言

我们用相机拍照时，会因为角度问题造成拍歪，会影响图像的识别，这时就需要对图像进行校正，下面介绍校正图像的一种方式，可以用来校正简单的图像，如文字信息、工件等。
校正的过程可以分为以下几步：
1、转灰度图。
2、降噪。
3、Canny边缘检测。
4、膨胀。
5、轮廓检索。
6、从各个轮廓中选取合适的旋转角度并校正图像。
总体的思路是获取图像中各个特征的轮廓旋转角度，从中选取合适的角度让原图像进行逆旋转，达到校准目的。
方法参考：https://blog.csdn.net/DU_YULIN/article/details/120504660

2、例程

2.1、代码

#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>using namespace cv;
using namespace std;int main() {Mat src = imread("./test5.jpg");imshow("src", src);/* 转灰度图 */Mat gray;cvtColor(src, gray, COLOR_BGR2GRAY);imshow("gray", gray);/* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */Mat blur;GaussianBlur(gray, blur, Size(5, 5), 1.0);imshow("gaussianBlur", blur);/* Canny边缘检测 */Mat canny;Canny(blur, canny, 20, 100);imshow("canny", canny);/* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));Mat expand;dilate(canny, expand, kernel, Point(-1, -1), 2);imshow("dialate", expand);/* 检索轮廓 */vector<vector<Point>> contours;findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);/* 对各个轮廓的旋转角度进行排序 */std::vector<float> vecAngles;for (int i = 0; i < contours.size(); i++) {RotatedRect rr = minAreaRect(contours[i]);vecAngles.push_back(rr.angle);}std::sort(vecAngles.begin(), vecAngles.end());/* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */float midIndex = int(vecAngles.size() / 2) - 1;float midAngle = vecAngles[midIndex];float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;float angleSum = 0;int angleCounter = 0;cout << "maxAngleThreshold:" << maxAngleThreshold << endl;cout << "minAngleThreshold:" << minAngleThreshold << endl;for (auto angle : vecAngles) {cout << angle << endl;if (angle > minAngleThreshold && angle < maxAngleThreshold) {angleSum += angle;angleCounter++;}}float averageAngle = angleSum / angleCounter;cout << "averageAngle:" << averageAngle << endl;cout << "midAngle:" << midAngle << endl;/* 旋转图像 */Mat result;Mat rotateM = getRotationMatrix2D(Point2f(gray.cols / 2.0, gray.rows / 2.0), averageAngle, 1.0);warpAffine(src, result, rotateM, gray.size(), INTER_LINEAR, BORDER_CONSTANT, Scalar(255, 255, 255));imshow("result", result);waitKey(0);
}

2.2、效果

口罩

说明书

网页

3、按步骤分析

转灰度图

Mat gray;
cvtColor(src, gray, COLOR_BGR2GRAY);
imshow("gray", gray);

我们平时看的图片都是由RGB来描述颜色的，RGB有三个值，而灰度图只有一个灰度值，转换为灰度图可以减少计算量。

降噪 + Canny边缘检测

/* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */
Mat blur;
GaussianBlur(gray, blur, Size(5, 5), 1.0);
imshow("gaussianBlur", blur);/* Canny边缘检测 */
Mat canny;
Canny(blur, canny, 20, 100);
imshow("canny", canny);

降噪是为Canny边缘检测做准备，相机拍出来的照片会有很多多余的特征，这些会影响到边缘检测的结果，通过降噪可以把不明显的特征去掉。
比如这张图片，我们需要校正的只有中间的文字部分。

如果不进行降噪，Canny边缘检测的结果会是这样，存在多余的特征，可能会影响到最后的结果。

降噪后把最明显特征留了下来，提高准确度。

膨胀（可视具体情况省略）

/* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */
Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));
Mat expand;
dilate(canny, expand, kernel, Point(-1, -1), 2);
imshow("dialate", expand);

如上图所示，Canny算法查找到了很多组轮廓，但有时候我们其实不需要太多细节上的轮廓，只需要一个能描述整体的轮廓，这时候用膨胀就可以把这些细节的轮廓组合到一起，这样做的好处是可以减少计算量，而且整体的轮廓比细节轮廓更有代表性。

轮廓检索

/* 检索轮廓 */
vector<vector<Point>> contours;
findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);

opencv提供了findContours可以获取图像中的轮廓位置及其旋转角度。

选取角度

/* 对各个轮廓的旋转角度进行排序 */
vector<float> vecAngles;
for (int i = 0; i < contours.size(); i++) {RotatedRect r = minAreaRect(contours[i]);vecAngles.push_back(r.angle);
}
sort(vecAngles.begin(), vecAngles.end());/* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */
float midIndex = int(vecAngles.size() / 2) - 1;
float midAngle = vecAngles[midIndex];
float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;
float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;
float angleSum = 0;
int angleCounter = 0;
for (auto angle : vecAngles) {if (angle > minAngleThreshold && angle < maxAngleThreshold) {angleSum += angle;angleCounter++;}
}
float averageAngle = angleSum / angleCounter;

因为我们要做的是图像整体的校准，所以先排序，取中间值，避开一些过大或过小的角度。
直接使用中间值会存在一些特殊情况，比如角度序列：0、31、31、36、90、90。中间值的选取，取决于过大、或过小角度的数量，从序列选中可以看到，偏移角度显然是倾向于31方向的，而结果确是36，所以这里加了一个取平均值的操作：取中间值前后15度的所有角度作为有效角度，通过有效角度的平均值来确定最终的校准结果。