Camera Tunning ISP 模块面试总结

一.ISP的调试流程概述：

在ISP调试流程中，我们首先需要确认以下三个方面：项目需求、硬件问题确认和Sensor驱动配置确认。

项目需求方面，即Sensor需要出多大的分辨率去调效果；因为有些芯片有最大分辨率支持的限制，可能需要调整sensor输出的分辨率大小；而且要注意下减小分辨率后，输出图像的fov及像素的长宽比，减小分辨率的话，一般会损失fov（前提不是binning和skipping的方式）；不是标准分辨率，也就是像素长宽比不是16:9的话，显示在16:9的屏上会有拉伸或压缩的效果，这些问题都需要提前和客户沟通清楚 ；另外，项目的ddr是多大？isp部分的内存该配多大？这里要知道出几路视频流+图像格式是怎样的，用来计算isp部分所要占用的内存大小，因为之前工作中出现过，ddr内存不够，导致isp中的3d去噪模块不生效。

硬件问题确认方面，主要从模组出发，通常体现在模组一致性方面，如低照度下确认电源噪声；Sensor的wdr和linear模式，分别在低照下、高增益下、高光下(对着灯光)查看是否有竖线；镜头对着解析力卡，确认中心和四周解析力的差异，看4个角差异是否很大；验证sensor帧率是否正常；景深范围差异等等。

Sensor驱动配置确认方面，主要确认50Hz下是否有工频干扰（banding）（实验室顶灯、色温箱A光源）；抓raw图时，确认不同setting的fov，必须是按中心进行crop ；确认linear和wdr模式下的曝光时间（ 25fps ---曝光时间40ms、30fps ---曝光时间33ms ）；确认wdr模式下，曝光比和长短帧的数值变化是否正常等等。

以上三方面确认OK后，接下来就得进行一系列的Precheck；包括竞品分析、硬件选型、算法选型、OTP烧录、模组挑选、Camera Tunning环境搭建。另外，在ISP模块的Precheck，细分则有三方算法导通切生效的效果check、原始raw数据的check、平台参数效果的check、成像效果是否异常的check等等。

做完precheck后，接着就是客观调试和主观调试，这方面不多做介绍。

二、ISP的数字图像处理算法过程有哪些？

主要包含3A、坏点效正、去噪、强光压制、背光补偿、色彩增强、镜头阴影效正、AWB、黑电平补偿、颜色插值、gamma、色彩空间转换等等。

三、影响ISP清晰度的有哪些？

在camera调试过程中，首先我们能确认影响成像清晰度的第一步，既是从镜头出发，也就是模组一致性，这里需要确定的是从模组厂挑选的模组是否合格；另外、性能和拍照手法也会影响清晰度，主要体现在有无开3A和dump、帧率、AE收敛时间方面；当然，AF是否对焦，AE对比度、亮度是否合理、AWB饱和度对ISP的清晰度也有影响；同时还需要排查和兼顾算法流程的合理性，主要体现在对应ISP模块是否多走或者少走，算法集成是否异常，算法使能是否打开或者关闭；不同ISO段参数不平滑、有无第三方算法加成也会导致清晰度有差异。

四、MTK各代平台有哪些差异？

在ISP3.0之前只有单帧；ISP4.0增加了多帧；ISP5.0在ISP4.0的基础上增加了ATMS客制化参数表；ISP6.0在ISP5.0的基础上增加了Face NR。

五、描述一下调试平台的ISP处理模块流程。

以MTK ISP4.0平台为例，在raw阈的处理顺序为：消除暗区偏色-->光学黑效正-->坏点效正-->变换着色函数-->尺寸调整-->白平衡-->高频彩噪处理-->去马赛克DM；在去马赛克后，就进入了RGB阈；处理顺序为：对比度增强-->伽马效正-->色彩空间转换CSC；在进行色彩空间转换后，就进入了YUV阈，其处理顺序为：去亮度噪声NR1，低通滤波-->增强边缘EE，高通滤波-->NR2去除彩色噪声，中值滤波-->高频噪声产生器HFG-->改变颜色饱和度COLOR-->多帧去噪-->低频多噪SWNR-->抗光晕处理SWABF-->输出最终合成的YUV图