当前位置：首页 > news >正文

三维重建小有基础入门之特征点检测基础

news 2025/7/5 4:55:17

前言：本文将从此篇开始，记录自己从普通CVer入门三维重建的学习过程，可能过程比较坎坷，都在摸索阶段，但争取每次学习都能进一步，提高自己的能力，同时，每篇文章都会按情况相应地推出B站讲解视频，可以关注up 出门吃三碗饭观看讲解视频，文章同步更新到公众号 AI知识物语，大家可以关注下助助力。另外本平台的评论私信不会看，有问题可以移步B站视频评论区or私信。

最后感谢相关博主，开源社区，github等对内容的贡献，也希望各位读者在读完后能有自己的收获，并且写文章分享自己的心得，希望这个社区越做越好。

个人对于该研究的展望以及背景：对我选择这个领域最大的感受是《头号玩家》电影，里面的画面我始终抱有着在不久地未来将会商业落地的期许。同时，XR（AR,VR）元宇宙、数字藏品等概念爆火，体现了虚拟场景相关的市场有极大的潜力。虽然目前三维重建相关方面的上市企业大部分是车企相关（基于自己调查的数据），做slam、点云方面的工作（应该是无人驾驶），一些近几年比较新的公司我看到有做虚拟偶像（也属于虚拟内容）等三维重建方面的工作（并不局限三维重建，还会融和动作捕捉等等其他cv技术）。

另外我最惊讶的是 Alex Yu在2022年，当时应该在UCB读大四时候基于最初Nerf提出的Plenoxels模型，并展示在CVPR上，后面有关注到他结合自己的论文算法，和导师创建了 LumaAI公司，使用Nerf技术去实现移动端的三维重建（拍照可以实现），目前只支持IOS系统。虽然其使用，交互设计，或者盈利模式还不是特别成熟，但我相信在不久的未来，该项技术能够很好地提高社会的生产力，为人们提供更好的生活服务。

LumaAI公司Nerf 三维建模产品链接

好，就唠嗑到这里了！让我们开始讲内容吧。任务伟大的成就、梦想，离不开一项项基础技术的支持。所以我们得脚踏实地去学习。

（一）Harris角点检测

什么是角点：

（1）轮廓间交点
（2）视角变化，也能检测到的点（比如我在角度X可以看到角点A，那么移动后，在角度Y需要也能看到角点A）
（3）角点附近像素点梯度变化大，通俗来看，就是附近不平滑，或者颜色差异大

基本思想：以每个点为中心取固定窗口并在图像上任意方向滑动，比较滑动前后像素灰度变化，若变化大，则存在角点。

数学逻辑：先来看图，和角点检测的公式

在这里插入图片描述
在一张图片上，我们取一个点，并以他为中心取一个正方形框，作为检测区域。

公式和图里的符号的含义：

（1）[u，v] 是窗口偏移量，也就是移动方向，E代表灰度变化。E[u，v]就表示窗口偏移前后的灰度变化值
（2）公式 Σ 对每一个点都进行计算
（3）w（x，y）表示权重，可以设为全是1，那么所有像素点的贡献都是一样的。如果设为高斯权重，那么距离该点越近，其贡献越大
（4）I（x，y）表示取起点的像素，I（x+u，y+v）下一个点的像素。这里对两个像素取了平方差，这样的好处可以避免差值为负数，取绝对值也可以有相同的效果，平方差用得比较多，梯度下降里面平方差用得也挺多。
总得公式用语言来表达：
窗口移动前后变化差值 = 每个点逐次计算[每个点的权重 * 点移动前后像素平方差 ]
（5）第一步到第二步的方式是通过泰勒展开（只需一阶展开即可），属于大学里高数的一般知识，不用慌，一开始慢慢看
泰勒展开参考文章
（6）对第二步进行化简，可以得到第三步的公式，这部分比较困难，我们一一来看。首先引入2个公式
在这里插入图片描述
把图像的梯度公式代入第二行式子可以求得最终第三行的式子。

基于已经计算好的第3个式子，如上图一样进一步化简得出 E(u，v)关于λ1 和λ2的式子。因为上图其化简格式像一个椭圆，为了更好地观察函数图像，不防把 E（u，v）设置为1,。如下图图像
在这里插入图片描述

根据上面的式子可以知道，椭圆的两边长如蓝色的图里表示。
当λ1，λ2越大的时候，图像上可以看到椭圆上下和左右都会变得很窄，也就体现了实际检测的图片该区域梯度变化快，前后差异值大。如果λ1，λ2都接近0，其根号的倒数趋近于无穷大，那么这个椭圆会很宽，也就体现了实际检测的图片该区域梯度变化慢，不是位于角点区域，可以认为其区域相对平滑。

到这里可以看到λ1，λ2的巨大作用和直观表达性，那如何对其求解？

这里引入角点准则公式

在这里插入图片描述
角点检测算法实际上是对函数C进行阈值处理，C >threshold,取C的局部最大值。
这种算法容易造成响应的角点有可能会密集地集中在一小块区域，会造成计算的浪费，效率的降低。因此引入了非极大值抑制，通过选取上述一小块区域的 “局部响应最大值”，来避免重复的检测。

现在我们来回顾下整个的算法流程

在这里插入图片描述
（一）首先我们根据移动向量[u，v]来计算图像移动时的梯度变化
（二）移动过程中每个像素代入公式，计算其Harris矩阵的值为H
（三，四）把H代入角点准则公式，当返回C的值大于一定的值的时候，把其设置为角点

代码：

简单介绍下使用的函数
（1）dst = cv.cornerHarris(src, blockSize, ksize, k[, dst[, borderType]])
该功能在图像上运行Harris角检测器。
参数：
src：输入单通道8位或浮点图像。
blockSize：它是考虑进行角点检测的邻域的大小
ksize：滑动核的大小。
k：角点响应值R计算公式中的α。
返回：
dst：用于存储哈里斯探测器响应的图像。它的类型为CV_32FC1，大小与src相同。
（2）dst = cv.dilate(src, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]])
通过使用特定的结构元素来放大图像。该函数使用指定的结构化元素来扩展源图像，该结构化元素确定在其上获取最大值的像素邻域的形状。
参数：
src：输入图像；通道数可以是任意的，但深度应为CV_8U，CV_16U，CV_16S，CV_32F或CV_64F之一。
kernel：用于扩张的结构元素；如果elemenat = Mat（），则使用3 x 3的矩形结构元素。
anchor：锚在元素内的位置；默认值（-1，-1）表示锚点位于元素中心。
iterations：进行扩张的次数。
返回：
dst：输出与src大小和类型相同的图像。
代码参考文章

import numpy as np
import cv2 as cv
filename = 'test_image/test_chessboard.jpg'
img = cv.imread(filename)
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
gray = np.float32(gray)
dst = cv.cornerHarris(gray,2,3,0.04)
#result is dilated for marking the corners, not important
dst = cv.dilate(dst,None)
# Threshold for an optimal value, it may vary depending on the image.
img[dst>0.01*dst.max()]=[0,0,255]
cv.imshow('dst',img)
if cv.waitKey(0) & 0xff == 27:cv.destroyAllWindows()

在这里插入图片描述

第一小篇章到这里就先结束了，后序其实还有很多知识点，但因笔者数学功底不好，还未消化，所以迟迟未落笔。后续会继续更新相关方面的文章，从基础特征点检测，到sfm，稠密重建，点云网格重建等等。另外有时间会超出视频版的讲解，可以关注B站出门吃三碗饭以及公众号 AI知识物语。另外如果文章有问题，不足之处，欢迎指出，谢谢观看。