FPGA转行ISP的探索之一：行业概览

ISP的行业位置

最近看到一个分析，说FPGA的从业者将来转向ISP（Image Signal Process图像信号处理）是个不错的选择，可以适应智能汽车、AI等领域。故而我查了一下ISP，对它大致有个概念。

传统的ISP对应的是相机公司，它是相机里的一个核心环节，可以称作成像引擎，就像汽车里的发动机一样重要。
ISP在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。

ISP是对前端图像传感器输出的信号做后期处理，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了相机的成像质量，是拍照过程中的运算处理单元，其地位相当于相机的“大脑”。

ISP的竞争壁垒

ISP是苦活累活，人才会被吸引到更加多金、就业面更广的AI上去；作为历史较悠久的ISP技术，员工要做好需花费大量时间和心思，而就业去向只有较大的几家芯片公司、手机公司、相机公司等，这些公司可能已经不怎么招新人了。但现在可能要加上汽车公司，自动驾驶的技术推进，可能会让ISP迸发新的需求。所以，一家公司要建立自己的ISP团队，考验的是公司的技术积累、公司对ISP的政策倾斜。

ISP的原理不复杂，但成为图像处理芯片的最大竞争壁垒之一的原因有如下几点：
第一， ISP的功能，原理虽然简单，但是里面有太多需要估计的策略，其实就是猜，要猜准确，有大量的经验，反复的调校工作在里面。
第二，ISP各个模块是相互影响的，这也增加了工作量。调试时，可能按下葫芦浮起瓢，大量时间消耗。比如，我们常说的3A算法（Auto Exposure、Auto Focus和Auto white balance），之所以叫3A，就是因为他们是相互作用相互成全的。
主要的内容和功能可以由以下关键词概括：内部结构 /控制方式 / ISP 架构方案 / ISP工作流程 / 图像接入ISP的方式 / 黑电平校正 / 镜头阴影校正 / 坏点校正 / 绿平衡 / 降噪 / 颜色插值 / 色温 / 自动白平衡 / 颜色校正 / 伽马校正 / 颜色空间变换 / 宽动态范围 / 锐化 / 自动曝光 / 自动对焦 / 串扰 / 去假彩 / 耀斑补偿 / 自动光圈 / 图像格式 / 关键性能指标 / 精度 / 精确度 / 吞吐量 / 实时成像 / 拜耳阵列Bayer 等等。

Bayer 拜耳格式的概述

其中Bayer格式我找到一个讲的很好的，原来虽然用过但对定义不是特别清楚，下面这段的概述很精彩很好理解。
Cmos的Sensor采用了Bayer色彩滤波阵列(Bayer Color Filter Array，CFA)。
按道理sensor输出的是RGB的raw data，每个像素点都感知RGB 3个分量的数字这样最准确。但是这样需要3套感光板，而且RGB的3套数据还需要时间同步和对齐，这样成本高，难度大。
所以，我们通常采用一个叫Bayer色彩滤波阵列(Bayer Color Filter Array，CFA)的滤光板，放在一个感光板上。
如下图是一个8x8的分辨率的感光面板，图(a)中彩色部分是Bayer色彩滤波阵列，RGB三种颜色间隔排列。这样一次拍照就产生图(b)的RGB三幅图片，图片中彩色的是有感光数值的，白色空白是没有感光数值的点。我们需要通过Demosaic（颜色插值）的方法，把白色的像素点的值给补上。
图(b)绿色的像素点数目是红色或蓝色的2倍，是因为人类对绿色更敏感。

Bayer色彩滤波阵列的结构：(a)在Sensor表面的CFA; (b)颜色分量的光分离和导致的传感器的不同像素点
注：Bayer色彩滤波阵列并不是唯一选择，它只是方案之一，由柯达公司科学家Bryce Bayer（1929 –2012）发明。华为P30pro夜间拍摄厉害，用到了RYYB的滤镜阵列设计，RYYB就是将两个绿色像素（G）换成黄色像素（Y）替代, Y(红色和绿色组合)。
在自动驾驶技术中，有个比Bayer阵列更近一步的技术：红绿蓝-红外线(RGB-IR) 4x4 重构像。它的结构与Bayer类似，多了一个专用的Ir像素。RGB-IR CFA以4x4集群组织，如下所示:

大多数已有的ISP都是为处理2x2 Bayer模式而设计的。如果需要彩色成像，ISP可能需要一个专门的RGB-IR4x4转RGGB2x2转换模块。该过程应包括从彩色像素中减去Ir内容，以及插值红色和蓝色颜色通道以匹配 Bayer2x2 CFA模式。

ISP相关标准

为了适应汽车的自动驾驶需求，有一些标准正在讨论和制定中：
ISO TC42工作组18包括:
ISO 17957:均匀性/阴影测量
ISO 18844:眩光
ISO 19084:色偏
ISO 19567:纹理复制–部分支持
ISO TC 22公路车辆SC 35:照明和可见性
ISO 16505:汽车侧视镜替代系统标准(部分支持)
ISO 12233用于摄影和电子静止图像成像的分辨率和空间频率
ISO 12232用于ISO速度评级、标准输出灵敏度和推荐曝光指数
ISO 15739:噪声和动态范围
ISO 14524:色调曲线OECF标准
ISO 17850:几何畸变
另一个工作组是IEEE-SA P1858工作组 - 相机手机图像质量(CPIQ)。该小组致力于行业内的图像质量指标和实践的标准，以将客观测量与人类感知相关联，从而对系统进行排名。
EMVA1288 机器视觉传感器和摄像头的测量和规格表征标准是另一个关注标准化图像质量的团体。EMVA1288一直关注图像传感器而不是完整的摄像系统。
认为IEEE Std 1858、EMVA1288或ISO在汽车成像质量用例方面存在缺陷。由于其多样化和独特的成像条件景观，汽车成像带来了独特的挑战，上述标准没有很好地解决这些条件。
这一事实促使IEEE-SA创建了汽车系统质量标准 - IEEE-SA P2020工作组。P2020的目标是塑造相关的指标和关键性能指标(KPI)，用于汽车图像质量，使客户和供应商能够有效地定义、测量和传达其成像系统的图像质量。