ISP流程--去马赛克详解

前言

      本期我们将深入讨论ISP流程中的去马赛克处理。我们熟知，彩色图像由一个个像元组成，每个像元又由红、绿、蓝（RGB）三通道构成。而相机传感器只能感知光的强度，无法直接感知光谱信息，即只有亮暗而没有颜色。因此，相机厂商通常在传感器前面加上滤色器来透过不同波段的光。想要得到彩色图像，理论上需要给每个像元加上RGB三个通道对应波段的滤色器。厂商们为了节约成本，通常采用颜色滤波器阵列CFA（Color Filter Array）给不同的像元按照阵列排序加上不同波段的滤色器。有了CFA，每个像元只记录对应波段的信息，为了获得完整彩色图像，我们在ISP流程中通过去马赛克处理给图像恢复色彩。因此，我们可以称去马赛克处理为灰色图像融合为彩色图像的神来之笔。

▲传感器感光示意图

      对于不同的CFA类型，成像器件像素单元接收的光强信号不同，相应的去马赛克方法也不一样，因此去马赛克方法与CFA的类型高度相关。

颜色滤波器阵列：

      接下来，小彩将针对几个有代表性的CFA进行具体讨论。

RGGB：

▲RGGB型CFA

      RGGB型CFA也被称为Bayer阵列，是一种最典型、最成熟的CFA，可以透过红、绿、蓝三种光线。RGGB型CFA以2×2像元为基本单元，其中包括1个红光滤色器、1个蓝光滤色器和2个绿光滤色器。这样设计的传感器有50%的空间用于接收绿光，符合人眼对绿色更敏感的事实。虽说利用该CFA可以从绿色通道图像中获得较好的视觉细节，但是整体透光量不足，色彩信息损失较大，所以在暗光环境下拍摄表现较差。

RGBW：

▲RGBW型CFA

     RGBW型CFA由柯达公司于2007年提出，2012 年索尼便将其应用于自家图像传感器产品线中，2015 年华为 P8 相机也是采用索尼的 RGBW 传感器 IMX278。

      RGBW型CFA取消了2×2基本单元中第二排的绿光滤色器，这使得所有光线都可以透过这个无滤色器的像元（称之为W像元）。这样设计的好处是可以增大透光量，增强暗光拍摄能力。同时，其缺点也较为明显，由于减少了一个滤色器，色彩信息损失较大，导致拍摄出来的图像色彩普遍较为寡淡，而且因为W像元透光量大而易于导致过曝。

RYYB：

▲RYYB型CFA

     2014年安森美公司提出RYYB型CFA，随后在2019年华为和索尼联合发布了RYYB产品。该CFA的2×2基本单元中的绿光滤色器被替换成黄光滤色器。由于黄光波峰介于绿光与红光之间，Y像元能同时接收红光与绿光的能量，从而使整体感光能力提升40%。

      这样的设计在保持原有色彩信息的同时也能增大透光量，能适应各种拍摄场景。其缺点是在2×2基本单元中，两个黄光滤色器捕获的光能量远超红光和蓝光滤色器，而单个像元可接收的最大能量又是有限的 ，导致在一些光线强烈的场景，如果优先考虑 R、B 像元的可接收最大能量，那么 Y 像元接收的光能量就可能会溢出，造成过曝；如果优先满足 Y 像元的可接收最大能量，那么 R、B 像元就可能欠曝光，最终导致大光比环境下宽容度不够高。此外，RYYB型CFA需要对捕获的黄光进行红、绿分离，而这一步骤依赖于ISP流程中的校色算法，容易对最终图像产生偏色影响。

Others：

      除了上面提到的三种类型，还存在如Diagonal Stripe，CYGM，Hirakaw，Lukac & Plataniotis等其它形式的CFA，这里不再赘述。

▲Diagonal stripe，CYGM，Hirakawa，DMCNN-VD-Pa设计的CFA

      无论是哪种类型的CFA，都无法完美地解决目前摄影行业中的图像记录颜色信息问题。因此，CFA设计固然重要，而与之搭配的去马赛克算法也是图像记录颜色的重要环节。

传统去马赛克算法：

      去马赛克的传统方法通常指插值法。早期研究人员利用最近邻插值、双线性插值、双三次插值和三次B样条插值等方法简单地预测图像像元中缺失的通道值。

▲双线性插值预测绿色通道驱动值

       这样简单地对缺省值做插值算法忽略了图像边缘结构与三个通道之间的相关性，这可能会导致生成的图像存在拉链效应、伪彩与图像模糊等问题。

▲拉链效应（左）与伪彩问题（右）

      后来，研究人员针对这个问题提出了基于色差一致性的插值算法，即在同一个图像中，两个相邻像素间对应通道的像素值差近似相等。色差插值算法可视为以色差一致性为约束条件的双线性插值。该算法虽从理论分析上更严谨，实际结果也更优秀，但仍存在着在图像高频部分表现不足的问题。

      与色差插值法类似的色比插值法，是以“两个相邻像素间对应通道的像素值比近似相等”为约束条件，但该算法在像素值为0时无法使用。

▲色差插值法示意图

      色差插值法没有考虑到图像纹理方向，而是无差别使用邻域色差，故其效果在高频区的效果一般。为此，HA算法（Hamilton & Adams插值算法）于1997年被提出，其在色差插值法的基础上利用像元间的梯度来判断纹理方向（梯度小的地方被认为是纹理方向），进而使用这个方向的色差进行插值。该算法改进了普通色差插值法的缺点，在实际测试中取得了更高的PSNR。

      2010年，Pekkucuksen和 Altunbasak进一步改进了色差插值法，提出基于梯度的无阈值算法(gradient based threshold free，GBTF) 。该方法利用色差梯度计算每个方向的权重，然后根据每个方向的权重，结合来自各个方向的估计对图像像素值进行插值。

      2013年，Kiku等人在GBTF的框架上提出了残差插值（residual interpolation，RI）。该算法将GBTF法中的色差插值替换为残差插值（残差为最初采样到的像素值与初步估计值之间的差值），为广大学者提供了新的去马赛克思路。之后其他学者基于此方法提出了更多有建设性的去马赛克算法，例如最小化拉普拉斯残差插值算法（MLRI）、迭代残差算法（IRI）、自适应残差插值算法（ARI）等。

▲GBTF（左）与RI（右）算法框架

AI去马赛克算法：

       目前，相关研究者提出了基于AI的ISP概念，即在传统的ISP流程中加入AI，而去马赛克、去噪等模块融入AI算法往往会有较好的效果提升。

       自人们发现卷积神经网络在提取图像特征方面有良好表现后，众多研究人员尝试利用该类网络进行去马赛克处理。目前，热门的方法可以分为三类，即分段式去马赛克、端到端去马赛克和联合其它任务的去马赛克算法。

      分段式去马赛克算法遵循传统去马赛克流程，通常是对Bayer阵列进行去马赛克处理。该类型算法先恢复采样率较高的G通道，并以此为先验信息，再推导出R、B通道的值。

▲二段式去马赛克算法 CDM-CNN

       端到端去马赛克算法指的是输入马赛克图像并直接输出重建后图像的算法。该类算法凭借其重建效率高、泛化能力强的优点获得众多研究人员的青睐。最早Syu等人根据董超提出的超分辨率卷积网络，提出了应用于去马赛克操作的DMCNN（Demosaicing-CNN）与DMCNN-VD（DMCNN-very deep）算法，不但可以轻松应对Bayer阵列，并且对于其它任何类型CFA也有优秀的图像重建效果。

▲端到端去马赛克算法 DMCNN（蓝色层为卷积层）

      除了利用简单卷积堆叠，研究人员还提出了采用残差网络、密集连接网络、U-Net网络与生成对抗网络等完成去马赛克处理的方法。

      除上述的分段式去马赛克算法与端到端去马赛克算法外，考虑到通过CFA采集到的图像存在噪声大、采样率低的问题，还有相关研究人员提出了将去马赛克、去噪、超分辨等任务联合处理的方法。

小结：

    去马赛克是ISP流程中的一项卓越技术，通过巧妙的插值和处理技巧，能够高效而准确地还原图像中缺失的彩色细节，为用户呈现出真实自然的色彩效果。

     目前，去马赛克算法取得了长足的进展，无论是传统插值算法还是深度学习法，都有优秀的重建效果。在未来，可以进一步改进去马赛克算法的自适应能力，使其能够更好地适应不同的拍摄场景和光照条件。除此之外，我们还可以优化算法以提高实时性能，确保用户在拍摄和预览中能够获得高质量的彩色图像。