高通Camx功能feature分析之十四：Camx-Chi核心模块介绍

【关注我后续持续新增专题博文谢谢】上一篇我们讲了这一篇我们开始讲高通Camx功能feature分析之十四Camx-Chi核心模块介绍目录一、Camx-Chi问题背景二、Camx子模块三、Chi子模块四、Request五、Usecase六、Feature七、Session八、Pipeline九、Node十Port十一Link一、Camx-Chi问题背景Camx-Chi意义该部分是高通对谷歌Camera HAL3接口的实现以so库的形式被加载至Camera Provider中, CamX-CHI架构由CamX和CHI两个部分组成CamxCamX负责一些基础服务代码的实现不经常改动, 主要包括实现HAL3入口的hal模块实现硬件node的hwl和实现软件node的swl, 实现与V4L2驱动交互的csl模块ChiCHI负责实现一些可扩展性和定制化的需求方便OEM/ODM添加自己的扩展功能, 通过抽象出Usecase、Feature、Session、Pipeline、Node的概念使厂商可以通过实现Node接口来接入自己的算法并通过XML文件灵活配置Usecase、Pipeline、Node的结构关系二、Camx子模块Core用于存放camx的核心实现模块其中还包含了主要用于实现hal3接口的hal/目录以及负责与CHI进行交互的chi/目录hwl用于存放自身具有独立运算能力的硬件node该部分node受csl管理swl用于存放自身并不具有独立运算能力必须依靠CPU才能实现的nodecsl用于存放主要负责camx与camera driver的通讯模块为camx提供了统一的Camera driver控制接口三、Chi子模块chioverride用于存放CHI实现的核心模块负责与camx进行交互并且实现了CHI的总体框架以及具体的业务处理bin用于存放平台相关的配置项topology用于存放用户自定的Usecase xml配置文件node用于存放用户自定义功能的nodemodule用于存放不同sensor的配置文件该部分在初始化sensor的时候需要用到tuning用于存放不同场景下的效果参数的配置文件sensor用于存放不同sensor的私有信息以及寄存器配置参数actuator用于存放不同对焦模块的配置信息ois用于存放防抖模块的配置信息flash存放着闪光灯模块的配置信息eeprom存放着eeprom外部存储模块的配置信息fd存放了人脸识别模块的配置信息四、Request意义触发camera pipeline处理数据的操作, 可以是处理从图像传感器中提取的数据帧的request, 也可以是处理来自内存中提取的数据帧的请求, result必须从驱动程序返回到APP一个Request对应三个Result: Partial Metadata, Metadata, Image DataResultPartial Metadata部分元数据是在相机拍摄过程中未完全获得的元数据一般是在连续拍照或者高速拍摄模式下需要以更快的速度捕获和处理图像。为了追求处理速度Partial meta data 可能舍弃了某些次要信息只包含了部分关键参数。Partial meta data 可以用来优化相机的实时性能例如实时对焦或者曝光调整等Metadata在相机捕获图像或视频的过程中由相机硬件和驱动程序生成的附加信息。这些元数据提供了关于捕获内容的各种详细信息例如光线条件、白平衡、曝光补偿等拍摄环境参数的信息。元数据通常与图像数据一起捕获并在后期处理和分析过程中用于优化和调整图像质量Image Data图像数据是指捕获的实际像素数据通常以 RAW 格式或者JPEG 格式存储, RAW 格式的图像数据包含了传感器捕获的原始像素值没有经过任何处理。这些数据可以在后期处理过程中进行更多的调整和优化。JPEG 格式的图像数据则是对RAW数据进行了压缩和处理的结果通常体积较小便于传输和存储五、Usecase意义Usecase是CamX-CHI中最大的抽象概念其中包含了多条实现特定功能的Pipeline具体实现是在CHI中通过Usecase类完成的, 例如2K上的预览显示就是一个用例继承关系Usecase类作为现有的所有Usecase的基类CameraUsecaseBase公有继承自Usecase, AdvancedCameraUsecase公有继承自CameraUsecaseBase通用接口相机中绝大部分场景会通过实例化AdvancedCameraUsecase来完成它包括了几个主要接口Create该方法是静态方法用于创建一个AdvancedCameraUsecase实例在其构造方法中会去获取XML中的相应的Usecase配置信息ExecuteCaptureRequest该方法用于下发一次Request请求ProcessResultCb该方法会在创建Session的过程中作为回调方法注册到其中一旦Session数据处理完成的时候便会调用该方法将结果发送到AdvancedCameraUsecase中ProcessDriverPartialCaptureResult该方法会在创建Session的过程中作为回调方法注册到其中一旦Session中产生了partial meta data的时候便会调用该方法将其发送至AdvancedCameraUsecase中ProcessMessageCb该方法会在创建Session的过程中作为回调方法注册到其中一旦Session产生任何事件便会调用该方法通知到AdvancedCameraUsecase中ExecuteFlush该方法用于刷新AdvancedCameraUsecaseDestroy该方法用于安全销毁AdvancedCameraUsecase标签定义UsecaseName代表了该Usecase的名字后期根据这个名字找到这个Usecase的定义Targets用于表示用于输出的数据流的集合其中包括了数据流的格式输出Size的范围等Pipeline用于定义该Usecase可以是使用的所有Pipeline这里必须至少定义一条Pipeline六、Feature意义Feature代表了一个特定的功能该功能需要多条Pipeline组合起来实现受Usecase统一管理在CHI中通过Feature类进行实现Feature在XML文件中没有对应的定义具体的Feature选取工作是在Usecase中完成的通过在创建Feature时传入Usecase实例的方式来和Usecase相互访问各自的资源。常见FeatureHDR用于实现HDR功能它负责管理内部的一条或者几条pipeline的资源以及它们的流转最终输出具有HDR效果的图像MFNR用于实现MFNR功能内部分为几个大的流程分别包括Prefiltering、Blending、Postfilter以及最终的OfflineNoiseReproces(这一个是可选择使能的)每一个小功能中包含了各自的pipeline七、Session意义用于管理pipeline的抽象控制单元一个Session中至少拥有一个pipeine并且控制着所有的硬件资源管控着每一个内部pipeline的request的流转以及数据的输入输出它没有可定制化的部分所以在CHI中的XML文件中并没有将Session作为一个独立的单元进行定义通用接口Session的实现主要通过CamX中的Session类主要有以下接口Initialize根据传入的参数SessionCreateData进行Session的初始化工作NotifyResult内部的Pipeline通过该接口将结果发送到Session中ProcessCaptureRequest该方法用于用户决定发送一个Request到Session中的时候调用StreamOn通过传入的Pipeline句柄开始硬件的数据传输StreamOff通过传入的Pipeline句柄停止硬件的数据传输八、Pipeline意义作为提供单一特定功能的所有资源的集合维护着所有硬件资源以及数据的流转每一个Pipeline包括了其中的Node/Link在CamX中通过Pipeline类进行实现负责整条Pipeline的软硬件资源的维护以及业务逻辑的处理通用接口Create该方法是一个静态方法根据传入的PipelineCreateInputData信息来实例化一个Pipeline对象StreamOn通知Pipeline开始硬件的数据传输StreamOff通知Pipeline停止硬件的数据传输FinalizePipeline用于完成Pipeline的设置工作OpenRequestopen一个CSL用于流转的RequestProcessRequest开始下发RequestNotifyNodeMetadataDone该方法是Pipeline提供给Node当Node内部生成了metadata,便会调用该方法来通知metadata已经完成最后当所有Node都通知Pipeline metadata已经完成Pipeline 便会调用ProcessMetadataRequestIdDone通知Session。NotifyNodePartialMetadataDone该方法是Pipeline提供给Node当Node内部生成了partial metadata,便会调用该方法来通知metadata已经完成最后当所有Node都通知Pipeline metadata已经完成Pipeline 便会调用ProcessPartialMetadataRequestIdDone通知SessionSinkPortFenceSignaled用来通知Session 某个sink port的fence处于被触发的状态NonSinkPortFenceSignaled用来通知Session 某个non sink port的fence处于被触发的状态。标签定义Pipeline中的Node以及连接方式都在XML中被定义其主要包含了以下几个标签定义PipelineName该条Pipeline的名称NodeList该条Pipeline的所有的NodePortLinkagesNode上不同端口之间的连接关系九、Node意义作为单个具有独立处理功能的抽象模块可以是硬件单元也可以是软件单元关于Node的具体实现是CamX中的Node类来完成的其中CamX-CHI中主要分为两个大类一个是高通自己实现的Node包括硬件Node一个是CHI中提供给用户进行实现的Node通用接口Create该方法是静态方法用于实例化一个Node对象ExecuteProcessRequest该方法用于针对hwl node下发request的操作ProcessRequestIdDone一旦该Node当前request已经处理完成便会通过调用该方法通知PipelineProcessMetadataDone一旦该Node的当前request的metadata已经生成便会通过调用该方法通知到PipelineProcessPartialMetadataDone一旦该Node的当前request的partial metadata已经生成便会通过调用该方法通知到PipelineCreateImageBufferManager创建ImageBufferManager标签定义NodeName该Node的名称NodeId用来指定该Node的ID其中IPE NodeId为65538IFE NodeId为65536用户自定义的NodeId为255NodeInstance定义该Node的当前实例的名称NodeInstanceId指定该Node实例的Id十Port意义作为Node的输入输出的端口在XML文件中标签用来定义一个输入端口标签用来定义输出端口每一个Node都可以根据需要使用一个或者多个输入输出端口使用OutputPort以及InputPort结构体来进行在代码中定义标签定义PortName该端口的名称PortId该端口的IdNodeName该端口从属的Node名称NodeId该端口从属的Node的IdNodeInstance该端口从属的Node的实例名称NodeInstanceId该端口从属的Node的实例的Id十一Link意义用于定义不同Port的连接一个Port可以根据需要建立多条与其它从属于不同Node的Port的连接,它通过标签来进行定义其中包括了作为输入端口作为输出端口标签定义SrcPort输入端口DstPort输出端口【关注我后续持续新增专题博文谢谢】下一篇讲解