【ISP】对于ISP的关键算法补充

本篇是对于ISP的关键算法进行补充说明， 后面我们将开始逐渐深入讨论ISP的pipeline

---

1. 非局部均值（NLM, Non-Local Means）

原理

非局部均值（NLM）是一种基于 块匹配（Patch Matching） 的去噪算法，它利用了图像的 自相似性（Self-Similarity）来进行降噪。核心思想是：
一幅图像中的某个像素，其最佳去噪值可能不是简单地来自邻域均值，而是来自整幅图像中与它相似的区域。

数学公式

给定一幅带噪图像 $I(x)$，NLM 计算去噪后的像素值 $I_{\text{NLM}}(x)$ 为：

$$I_{\text{NLM}}(x)=\sum _{y\in \Omega }w(x,y)I(y)$$

其中：

• $x$是当前像素点，$y$是搜索窗口内的像素点；
• $w(x,y)$是相似性权重，基于 高斯核 计算：

$$w(x,y)=\frac{1}{Z(x)}\exp \left(-\frac{\Vert P(x)-P(y){\Vert }^2}{h^2}\right)$$

• $P(x)$和 $P(y)$是以 $x$和 $y$为中心的局部 patch（通常是 $7\times 7$或 $5\times 5$）；
• $h$是滤波参数，控制降噪强度；
• $Z(x)$是归一化因子。

特点

• 能有效保留边缘和纹理（因为利用了整幅图像的冗余信息）。
• 计算量大，复杂度为 $O(N^2)$，需要优化（如 快速 NLM，FFT 加速）。
• 适用于自然图像降噪。

---

2. BM3D（Block Matching and 3D Filtering）

原理

BM3D（块匹配和 3D 变换域滤波）是一种更先进的降噪算法，它扩展了 NLM 的思想，通过 分组（Grouping）、变换（Transform）和阈值（Thresholding） 实现高效降噪。

步骤

1. 分组（Grouping）：

   • 对于每个小块（通常为 $8\times 8$），在整幅图像中寻找相似的块。
   • 这些相似块组成一个 3D 立方体（Stack）。

2. 3D 变换（Transform）：

   • 对 3D 立方体进行 离散余弦变换（DCT）或小波变换。

3. 阈值滤波（Thresholding）：

   • 在变换域内进行软阈值处理（Soft Thresholding），去除噪声成分。

4. 反变换（Inverse Transform）：

   • 将去噪后的数据反变换回时域，并进行块重叠加权。

5. 重建（Aggregation）：

   • 通过加权平均，将多个重叠块合并，得到最终的去噪图像。

特点

• 比 NLM 更强大，能更好地去噪并保留细节。
• 计算量大，但可以使用 GPU 加速。
• 适用于医学图像、遥感、低光环境下的降噪。

---

3. TNR（Temporal Noise Reduction，时域降噪）

原理

TNR 主要用于视频降噪，它利用视频帧之间的 时间相关性 来降低噪声，同时避免运动模糊。基本思路是：

• 在静止区域，使用多帧平均（Frame Averaging）。
• 在运动区域，进行运动补偿（Motion Compensation）以避免鬼影。

主要方法

(1) 帧融合（Frame Blending）

• 对当前帧 $I_t$和过去几帧$I_{t-1},I_{t-2},\dots$进行加权平均：

$$I_{\text{TNR}}(x)=\alpha I_t(x)+(1-\alpha )I_{t-1}(x)$$

其中 $\alpha$是一个时间平滑参数。

(2) 运动补偿（Motion Compensation）

• 计算 光流（Optical Flow） 来估计物体运动：
  • 若光流稳定，则认为区域是静止的，进行时域降噪。
  • 若光流大，则认为是运动区域，减少时域滤波力度。

应用

• 夜间视频降噪
• 安防监控
• HDR 视频

---

4. 光流（Optical Flow）

原理

光流是计算图像序列中像素的运动向量，在 TNR、目标跟踪、视频增强等领域非常重要。

主流方法

(1) 经典方法

1. Lucas-Kanade 方法：
   • 通过对局部窗口进行梯度计算，估计小范围光流。
2. Horn-Schunck 方法：
   • 通过全局优化方法求解稠密光流场。

(2) 现代方法

• DeepFlow、RAFT、PWC-Net：基于深度学习，精度高但计算量大。

应用

• 视频稳定
• 目标跟踪
• 自动驾驶（计算运动物体的轨迹）

---

5. Retinex 算法（用于增强和去雾）

原理

Retinex 是 人眼视觉模型 的一种模拟，它认为图像的颜色信息和亮度信息是分离的，并试图恢复真实场景的对比度。

数学模型

$$R(x)=\frac{I(x)}{L(x)}$$
其中：

• $I(x)$是输入图像，
• $L(x)$是估计的光照分量，
• $R(x)$是恢复的图像。

主要方法

1. 单尺度 Retinex（SSR）
2. 多尺度 Retinex（MSR）
3. 带颜色恢复的 MSRCR

应用

• 图像增强
• 去雾
• 低光照增强

---

6. USM（Unsharp Masking，反锐化掩膜）

原理

USM 通过增强边缘对比度来实现锐化，基本思想是：

1. 计算高斯模糊图像 $I_{\text{blur}}(x)$。
2. 计算锐化增强量：
   $$S(x)=I(x)-I_{\text{blur}}(x)$$
3. 计算锐化图像：
   $$I_{\text{sharp}}(x)=I(x)+kS(x)$$
   其中 $k$控制锐化强度。

应用

• 照片后期处理
• 计算机视觉前处理

---

总结

算法	主要功能	适用场景
NLM	非局部去噪	细节保留降噪
BM3D	3D 变换去噪	高质量去噪
TNR	视频降噪	夜间监控
光流	运动估计	目标跟踪
Retinex	去雾、增强	低光图像
USM	锐化	细节增强