海思35XX系列（三）sensor（传感器）

刚开始接触这个概念的时候感觉比较模糊，简单记录一下吧

Sensor（传感器）是一种可以感知外部环境并将感知到的信息转化为可用的电信号或其他形式的工具。传感器广泛应用于电子设备、工业自动化、汽车、医疗器械等领域，用于测量、监测和控制各种物理量和环境参数。

作为摄像头模组最重要的一部分，sensor在摄像头模组及相关行业，提到“Sensor”这个词，一般代指图像传感器。目前，除了一些特殊领域，CMOS图像传感器占据绝大部分市场。

一、图像传感器发展历史

• 1887年，德国物理学家海因里希·赫兹在实验中意外发现光电效应。这一发现为图像传感技术的发展奠定了基础。
• 20世纪30年代光电倍增管（Photomultiplier Tube，简称PMT）出现；
• 1965年-1970年：在这一时期，IBM、Fairchild等企业开始积极开发光电以及双极二极管阵列技术。
• 1971年，美国贝尔实验室的研究员已经能够用简单的线性设备捕捉影像，标志着CCD的诞生。电荷耦合元件（CCD）的崛起（20世纪60年代末至90年代末）

• 互补金属氧化物半导体（CMOS）的兴起（20世纪末至今）

二、CMOS图像传感器

海思开发中的 sensor  多数时候都是CMOS

CMOS图像传感器是一种基于互补金属氧化物半导体（CMOS）技术的图像传感器。它是一种将光信号转换为电信号的器件，可用于数字相机、摄像机、手机摄像头等设备中。

与传统的CCD（Charge-Coupled Device）图像传感器相比，CMOS图像传感器具有较低的功耗、较低的成本和较高的集成度。它的工艺制造简单，可以与数字逻辑电路在同一芯片上实现集成，从而提供更多的功能和灵活性。

CMOS图像传感器还具有快速响应、高帧率、高动态范围和低噪声等特点。

在图像处理的流程中

光经过lens（镜头）后聚集到Sensor上，sensor进行模拟的光信号转化为模拟的电信号再转化为数字的电信号

像AE（自动曝光）也是通过ISP反馈控制sensor来调节的

那么　sensor　是怎么捕捉彩色图像的呢，其中离不开的一项关键技术就是　拜尔阵列

三、拜尔阵列

bayer格式图片是伊士曼·柯达公司科学家Bryce Bayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像。

拜尔阵列（Bayer Array）是一种用于数字摄影相机和图像传感器的颜色滤波阵列（CFA）。它采用了一种特定的颜色排列方式，将红色、绿色和蓝色滤光片以阵列形式分布在像素上。

在很早之前人们使用的都是黑白图像传感器，但是人们不满足于只捕捉光的强度来生成灰度图像。要更进一步实现彩色的捕捉，由于光可以分解为红、绿、蓝三元色，所以只需要分别捕捉这三种色彩就够了，但是如果要采集rgb三个基本色，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐；于是为了解决这个问题拜尔阵列就出现了。

• 在图像传感器前面，设置一个滤光层（Color filter array），上面布满了一个个滤光点，与下层的像素一一对应。每个滤光点只能通过红、绿、蓝之中的一种颜色，这意味着在它下层的像素点只可能有三种颜色：红、绿、蓝，或者什么也没有（黑）。
• 不同颜色的滤光点的排列是有规律的：bayer色彩滤波阵列，由一半的G，1/4的R，1/4的B组成，绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感，所以滤光层的绿点最多。（我们最终还原色彩的目标就是不断的接近人眼看到的色彩）

每个像素对应点都加上捕捉到的颜色后就会这样，因为每个像素点记录的颜色的值都是有大小的，所以还原后色彩看着　还是比较明显的

去马赛克处理

去马赛克处理主要涉及到对马赛克区域像素值的恢复和重建。旨在恢复被模糊或替换的原始图像细节。前面不是说了吗，拜尔阵列在一个像素点的位置只记录了红绿蓝中的一种颜色，去马赛克处理就是通过各种计算去推测这个像素点的另外两种颜色的值。

下面是拜尔阵列色彩的排列

我们可以把这一层拆分成三层，由于我们记录色彩信息只用了一层，拆分开来每个像素点肯定会缺失了两种颜色；去马赛克就是通过后处理将像素点的另外两种颜色补全。

以一个3×3的矩阵为例，最中间的像素的蓝色值和红色值完全可以根据相邻像素点的值去推测，或者是5×5更多，离得近的比重就占的大一点，远的像素点比重就占的少一点。

将三个通道补全叠加就可以还原图像的色彩了。

当然还会有很多其他的后处理技术，最后经过各种处理之后才和眼睛看到的实际色彩相近。

当然，我们眼睛的精度也有限制，不可能个个都是最强大脑；一般来讲图像最后处理完我们眼睛区分不出来了 ，达到我们人眼要求的精度了，我们就认为它还原了原本色彩。实际还会有很多色彩信息的缺失。

 参考文章

（记录的挺详细了）

图像传感器原理介绍（史上最详细的CCD和CMOS介绍）_微视界 (microdemo.com)https://www.microdemo.com/technical-data/1267/#p1图像bayer格式介绍_拜耳格式-CSDN博客https://blog.csdn.net/bingqingsuimeng/article/details/61917513ISP（图像信号处理）之Bayer Raw 简介_乐正倩彦-开放原子开发者工作坊 (csdn.net)https://openatomworkshop.csdn.net/6645b45db12a9d168eb6d72f.html

“Sensor”的名词解释与概述_sensor有效区-CSDN博客https://blog.csdn.net/qq_37692302/article/details/125640788ISP（二） Demosiac 去马赛克 （CIP）_demosac 马赛克算法-CSDN博客https://blog.csdn.net/qq_24965393/article/details/101542220