图像处理和深度学习笔记[特殊字符]（一）

AI生命周期数据准备→模型训练→模型转换→部署→监控↑算法工程师关注↑ ↓你将专注于此↓机器学习开发流程数据收集数据预处理特征提取 数据预处理和 特征提取其实就是数据清洗和转换 比较耗时耗力清洗和特征工程模型构建 选不同的算法调参模型训练收集到的数据需要经过预处理后才能为算法所使用预处理的操作主要包括数据过滤处理数据缺少处理可能的异常、错误或者异常值合并多个数据源数据数据汇总模型测试评估投入使用模型部署与整合迭代优化决定模型上限的是数据的特征数据收集和存储数据来源用户访问数据 2、业务数据 3、外部第三方数据数据存储需要存储的数据原始数据、预处理后数据、模型结果存储设施磁盘、mysql、Kafka、Redis数据收集方式FlumeKafka数据要进行脱敏涉及到隐私的部分要继续进行处理图像处理一、图像处理流程1、获取图像获取信息2、预处理3、分割图像4、形态学处理5、特征提取6、输出结果二、获取图像获取信息读图像文件夹获取图像的长宽将一个三通道图像转换成三个图像三、预处理预处理是指对图像的初步处理比如增加图像的亮度使像素亮的更亮、暗的更暗图像锐化等这些整张图像的处理。1、图像锐化2、滤波即中值滤波、均值滤波和高斯滤波3、增强即自动增强、直方图增强和阈值增强4、增强图像的对比度5、增强图像6、对图像进行连贯的增强扩散7、图像镜像和旋转四、分割图像找到感兴趣的区域即获取到要处理的区域。1、全局阈值分割图像2、二值化阈值自动地全局阈值方法3、按特征筛选图像4、变换区域的形状5、使用局部阈值分割图像6、获取到感兴趣的区域的图像五、形态学处理 主要目的 典型应用1、膨胀 填补孔洞连接断点 填补文本断笔连接相邻区域2、腐蚀 消除小噪音分割物体 去除胡椒噪音分离粘连目标3、开运算 去除小物体平滑轮廓 去除显微镜图像中的小噪点4、闭运算 填补小孔洞平滑轮廓 填充文本中的笔画缝隙5、顶帽 提取亮细节 背景不均匀校正细胞计数6、黑帽 提取暗细节 工业瑕疵检测深色划痕、孔洞7、梯度 提取物品边界 目标轮廓提取六、特征提取图像的识别和定位1、填充区域内部的孔2、筛选区域3、区域相减4、把一个区域缩小到他的边缘5、把间隙断开的边缘连接起来6、提取边缘7、区域补集七、输出结果1、显示字符2、显示箭头3、显示图形卷积图像领域的卷积边缘信息指像素值明显变化的区域具有丰富的语义信息使用于物体识别像素值快速变化的区域》也就是像素值函数的一阶导数的极值区域边缘提取先高斯去噪平滑滤波再进行求导 》 sobel滤波拉普拉斯滤波Canny边缘检测算法 比sobel和拉普拉斯效果更好的边缘检测算法先使用高斯降噪 使用高斯进行平滑求图像像素的梯度值 单项求导非极大抑制 NMS 梯度较小的边缘被忽略双边阈值 如果低于低阈值的被忽略丢去低于高阈值且高于低阈值被视为弱边缘高于高阈值被视为强边缘多GPU并行训练正向过程输入X矩阵-》线性转换法*法-》激活函数-》堆叠-》得到置信度-》实际值对比-》计算损失反向传播分2步第一步基于损失求解每个参数的梯度值第二步基于参数的梯度值再更新这个参数训练是什么多GPU并行训练深度学习吃大量数据硬件设备不足以处理这么多的数据。单线程改成多线程并行执行提升训练效率和训练速度分割模型参数将训练数据进行分割1、数据并行原理:将数据集划分为多个子集每个子集在不同GPU设备上独立执行每个批次前向传播(计算损失loss值)、反向传播(仅基于loss计算每个参数对应的梯度值)计算在每个批次结束的时候会将所有设有计算的参数梯度值合并到一起来更新模型参数重新发送给各个GPU设备进行参参数;更新完模型参数后会将更新后重新发给各个GPU设备进行参数更新覆盖。NOTE:每个GPU设备上都有一份完整的模型参数。优点:实现简单扩展性好可以适合绝大多数深度学习任务;缺点:仅能够解决模型训练效率问题针对单设备能力限制问题无法解决;并且在节点数目过多的时候通信开销比较大。目标检测1、图像分类(Image Classification)的目标是识别出图中出现的物体类别是什么其功能主要是用于判断是什么?2、图像定位(Object Location)的目标不仅仅需要识别出是什么物体(即分类)同时需要预测物体的位置信息也就是单个目标在哪里?是什么?3、目标检测(Object Detection)实质上多目标的定位即在一个图片中定位多个目标物体包括分类和定位也就是多个目标分别在哪里?分别属于那个类别?图像分类图像定位: 只需要判读业务内的目标定位一张图像 一个物体目标检测多目标任务实例分割目标检测发展历程目前主流的目标检测算法主要是基于深度学习模型主要可以分为两大类:two-stage检测算法和one-stage检测算法。two-stage检测算法将检测问题划分为两个阶段首先产生候选区域(region proposals基于图像特征来产生候选区域很多--比较耗时的)然后对候选区域进行分类(一般需要进行位置精修)这类算法实现主要有:R-CNN、SPPNET、Fast R-CNN、Faster R-CNN等.效率不太够one-stage检测算法是一种端到端的检测算法直接进行区域定位与分类这类算法实现主要有:SSD、YOLO、FPN等。- Anchor Box检测算法:基于规则逻辑产生的Anchor Box(候选框)然后对AnchorBox直接做分类和回归修正代表算法:SSD、YOLOv5、YOLOv8等。- Anchor Free检测算法:不产生Anchor Box候选框直接对图像进行前向过程直接输出边框位置以及坐标代表算法:YOLOv1、CornerNet等YoloV5的使用训练train.py评估val.py检测detect.py格式转换与导出export.py4.1 ONNX格式4.2 TorchScript格式YoloV5的网络结构主要分为2个部分1、主干网络用于特征提取2、其次是检测网络利用主干网络提取到的有效特征进行特征的进一步增强提取最后得出分类和定位结果。网络构建整体构建主要分为Backbone和Detect两个部分其中Backbone负责提取图片的特征图Detect部分负责继续增强提炼特征并进行目标的分类和定位工作。Backbone构建根据之前Yolo主干的叫法我们一般叫它为CSPDarknet输入的图片首先会在CSPDarknet里面进行特征提取提取到的特征可以称作特征层是输入图片的特征集合。在主干部分我们获取了三个特征层进行下一步网络的构建这三个特征层称之为有效特征层。主干网络Backbone主干网络进行特征提取获得三个有效特征层。其中的核心组件是Conv模块和C3模块。C3模块是用多个Bottleneck模块组成3次卷积。Conv模块中包含标准化和激活。Backbone的整体机构如上首先图像数据经过focus模块进行切片操作降低图像的宽高然后经过多轮的Conv和C3以及一个SPP模块进一步压缩特征图的宽高最终Backbone的第5、7、10个模块的有效特征图被Detect部分利用到。机器学习机器学习主要是从数据中获取规律大量时间与数据打交道直白来讲根据已有的数据进行算法选择并基于算法和数据构建模型最终对未来进行预测。机器学习就是一个模拟人决策过程的一种程序结构深度学习1、各种深度学习算子的学习conv 卷积神经网络 提取特征的层 线性层Relu 激活函数 激活单元组合起来 构成一个神经元每一个神经元有一个激活 每一个元素都要进行一个激活MaxPool 最大池化Add 两个神经元链接起来 算子一种tips:常用的神经网络算子 也就几十种 能解决80%的应用场景2、深度学习开发阶段训练阶段可使用pytorch框架 分2个过程正向计算损失反向计算梯度计算完梯度之后更新权重使模型能够预测得更准确。部署阶段使用推理框架训练完成后不需要再训练不需要更新权重了已经达到最优模型这时候只需要做正向过程不需要再进行反向计算梯度更新。更加关注推理速度而不是准确性了模型是否准确已经在训练阶段确定了核心在于加速让模型跑得足够快可采用的方法量化、常量折叠、模型融合、算子融合、内存优化训练框架和推理框架不一样Pytorch训练好一个模型——输出成onnx格式非常通用的一种格式模型的中间表达‘’Linear层 相当于一个全连接层 就相当于一个矩阵相乘非常常用Resnet18-v2-7模型 里面就有18层conv 或者GeemConv卷积 kernal滑窗 滑窗有数值池化层 也是滑窗机制MaxPool 取窗口中最大值元素 通道个数不变对每个通道进行操作Average pool 取窗口所有值的平均值Tensor比Numpy更强大的地方Pytorch.tensor 的属性以及方法继承至_TensorBase这个C类pytorch底层类使用C实现几个重要的属性requires_grad 这个张量是否需要求导Shape 形状Device 在哪个设备上运算Ndim 维度Grad_fn 计算这个张量梯度所用到的计算梯度的函数Grad 计算的梯度结果存储在这个张量的属性grad中Tensor和numpy的构造classTensor/ndarrymeta_data raw_data ;meta_data: 描述数据的属性(解读这串数据)shape/dtype/stride/dim/deviceraw_data:没有经过任何处理的数据存的是一个裸指针data_ptrNumpy转为pytroch.Tensor其实只改变meta_data,转化开销非常小举例opencv读取一张图片为numpy直接转化为TensorTensor的一些方法reshape_vs_view()reshape的操作storage内存里面的数据打印出来神经网络中Auto_grad 自动求导如果一个节点是另一个节点的output那肯定不是叶子节点非叶子节点中间没有weight都是activation激活函数所以没必要保留自动求导函数(保留需要占用缓存8G显卡缓存不够用)叶子节点都带weight权重才保留aoto_grad的求导函数反向backward最重要的是求权重的导数NLP相关知识搞清楚全连接的内容核函数、多项式扩展 特征扩展 特征工程 提取特征信息最优 让损失最小化RNN、Seq2Seq、Transformer、Bert、Attention都是全连接作特征提取由前面的神经元的w决定自然语言处理底层基本都是使用全连接CV领域有卷积的操作分词前缀词典匹配、HMM模型Viterbi算法分类模型和回归模型分词算法LSTM、BERT、HMM、CRF专业军事、医疗领域名词分词使用词典匹配最准确Attention 提取特征的一种方法Feed Forward全连接FC很重要模型部署优化推理速度可以通过量化和剪枝来实现量化是将模型的权重和激活函数从32位浮点数转换为8位整数的过程。量化后的模型不仅减少了内存占用还显著提升了推理速度非常适合移动设备和嵌入式系统。比如将TensorFlow模型量化后为 TensorFlow Lite模型量化过程虽然可能会略微降低模型精度但通常对于应用来说是一个合理的权衡。剪枝是通过移除神经网络中不必要的参数和连接来减少模型复杂性的一种技术。剪枝后的模型可以加快推理速度并减少内存和计算资源的占用。例如使用PyTorch中的TorchPruner库可以帮助实现模型剪枝。推理框架优化使用特定硬件优化的推理框架如TensorRT和OpenVINO可以进一步提高YOLO模型的运行效率。TensorRT专为NVIDIA GPU优化通过生成高度优化的推理引擎可以显著提升YOLO模型的推理速度和吞吐量。硬件加速在部署YOLO模型时选择合适的硬件加速器如GPU、NPU能够极大提高推理速度。对于移动设备利用GPU加速如Android上的Vulkan API或专用NPU如华为的Kirin芯片可以显著提升模型的实时性能保证应用的流畅运行。模型应用全流程数据收集、数据标注、模型训练、模型部署、模型监控、模型再训练详细需求分析与数据收集、数据清洗和标注、模型选择和搭建、模型训练与验证、模型转换与优化、模型部署、API和服务化、监控与维护机器学习