深度学习实际使用经验总结

以下仅是个人在使用过程中的经验总结，请谨慎参考。

常用算法总结

图像分类

• 常用算法（可作为其他任务的骨干网络）：
• 服务端：VGG、ResNet、ResNeXt、DenseNet
• 移动端：MobileNet、ShuffleNet等
• 适用场景：识别区分场景类型

目标检测

• 常用算法：Yolo系列
• 适用场景：检测识别场景中的目标类型及位置

目标跟踪

• 单目标：SiamFC、SiamRPN、SiamRPN++
• 多目标：ByteTrack、deep sort
• 适用场景：在上下文连续多帧中持续定位目标位置变化，如跟踪人的位置变化

人脸识别

• 人脸检测：MTCNN、RetinaFace
• 特征提取：ArcFace
• 特征匹配：Nmslib、Annoy
• 适用场景：直播、点播场景下人脸坐标定位和人物身份识别

度量学习

• 常用算法：神经网络模型 + Contrastive Learning
• 适用场景：将输入转换为高维特征，根据特征相似度完成具体任务，如音乐识别等

音频识别

• 常用算法：音频频谱 + 神经网络模型
• 适用场景：如识别音频中是否出现音乐，以及出现的是哪一首音乐

传统图像算法

• 常用算法：边缘检测、直线检测、透视变化、坐标映射
• 适用场景：如识别足球场地边缘，根据球员实时位置构建赛场态势图

---

常用技术总结

网络设计

• 卷积网络
• 池化
• 全连接网络
• 残差网络
• 分组卷积
• 深度可分离卷积
• Inception网络
• BatchNorm/LayerNorm
• 循环神经网络
• Transformer网络

特征融合

• FPN特征金字塔
• PAN特征融合
• UNet细粒度特征融合
• Attention全局注意力
• 多分支融合叠加

激活函数

• Sigmoid
• ReLU
• Tanh
• Leakey-ReLU
• PReLU
• Swish

优化算法

• 随机梯度下降
• 批量梯度下降
• 小批量梯度下降
• 动量梯度下降
• 自适应梯度下降

损失函数

• 单分类损失Logistic Loss
• 多分类损失CE
• 多标签分类损失BCE
• 类别不均衡损失Focal Loss
• 回归损失MSE、L1 Smoothing
• 多任务损失
• Contrastive Loss
• Label Smoothing

数据增强

• 平移/旋转/翻转/缩放
• 添加高斯噪声
• 亮度/对比度/饱和度变换
• 数据融合MixUp
• 随机掩码Cutout
• 频谱掩码（音频数据增强）

模型压缩

• 模型剪枝
• 模型重参数化
• 模型蒸馏
• 模型量化

训练策略

• 迁移学习
• 权重衰减
• 学习率衰减
• WarmUp预热
• DropOut/DropBlock
• 并行训练
• Early Stopping

---

使用经验总结

数据预处理：在数据预处理阶段，通常包含以下流程

• 数据加载：这部分可能涉及到大规模训练数据的高性能加载，消除数据读取造成的性能瓶颈
• 数据增强：根据具体任务选择合适的数据增强策略
• 数据归一化：将数据的数值做归一化处理，加速模型的收敛速度

网络模型设计：根据具体的业务场景，选择/设计合适的网络架构，通常遵循以下原则：

• 优先选择开源的预训练模型参数，使用自有数据进行微调训练
• 使用开源预训练模型的基础部分，修改模型的上层适配自有的业务场景
• 根据业务场景自行设计模型架构（通常只在没有开源参考模型的条件下使用，模型效果很难得到保证）
• 通常情况下对于图像、视频数据，追求模型效果一般使用ResNet34、ResNet50等模型架构，追求处理性能一般使用ResNet18、MobileNet、ShuffleNet模型架构

损失函数设计：根据具体业务场景，选择/设计合适的损失函数，通常遵循以下原则：

• 分类场景一般使用交叉熵损失Cross Entropy
• 类别极度不均衡的分类场景（不均衡比例超过1000以上），分类损失尝试Focal Loss
• 在分类损失场景下使用Label Smoothing软化模型的学习能力
• 回归损失根据使用场景可选MSE、MAE、L1 Smoothing等
• 表征学习（也叫对比学习或度量学习）优先使用Circle Loss、ArcFace Loss、Triplet Loss等损失函数，模型训练时根据具体业务场景适当增大训练批量batch size，提升表征学习的特征区分度

训练策略：迭代训练更新模型参数，逐步提升模型效果

• 优先使用小批量梯度下降 + Momentum动量 + LR decay学习率衰减 + Weight Decay权重衰减训练策略
• 如果使用多GPU并行训练，训练的批量大小batch size和学习率LR要同比例改变
• 先使用极少的训练数据验证模型训练效果，排除模型在设计上的问题和工程化问题，然后再迁移到大数据量，避免造成无效的资源和时间浪费
• 模型训练过程中保存每轮迭代预测异常的数据，通过bad case分析，逐步提升数据质量或调整模型策略
• 保存模型每轮迭代的准确率、召回率、loss变化曲线，监控是否发生过拟合、欠拟合等问题

模型验证：使用实际场景数据验证模型的预测性能，包括效果和速度

• 优先检查网络架构和模型参数的匹配情况，防止参数不匹配带来的潜在错误（问题较难定位）
• 使用训练数据验证模型的预测效果，排除训练和验证阶段数据处理不一致带来的差异
• 保证验证数据和训练数据具有相同或相似的数据分布
• 将模型转换为推理模式，固化BatchNorm、Dropout等具有随机性的操作
• 避免不必要的资源消耗，如使用torch.no_grad避免不必要的显存占用
• 关注模型在推理阶段的显卡内存占用，保证分配的内存资源大于波动的峰值

---

常见问题和思考——模型训练阶段

模型训练效果差

• 常见问题：神经网络模型在训练过程中，没有学习到有效的信息，模型收敛慢或者不收敛
• 原因分析：
  • 训练数据中存在脏数据（首要排除的因素）
  • 没有使用预训练模型和数据归一化
  • 训练集过大，模型容量小，出现欠拟合
  • 训练集过小，模型容量大，出现过拟合
  • 学习率设置过大，导致参数更新过快，结果出现震荡
  • 学习率设置过小，导致参数更新过慢，学习进展缓慢
  • 数值稳定性问题导致数值溢出，出现梯度爆炸
  • 网络设计问题导致梯度消失
  • 使用了不合理的批量大小
  • 使用了不合理的训练迭代次数及停止策略
  • 使用了不合理的学习率衰减策略
  • 使用了不合理的参数初始化策略
  • 使用了不合理的数据增强，比如检测人体时对图像做了上下翻转
  • 使用了不合理的损失函数，比如分类问题使用回归损失函数
  • 使用了不合理的网络架构，根据一维、二维、多维、时序数据选择合适的架构
  • 使用了较强的正则化，限制模型的学习能力，出现欠拟合
  • 使用了较弱的正则化，过渡学习训练集，出现过拟合

模型训练速度慢

• 常见问题：神经网络模型训练慢，主要体现在收敛慢、资源使用率低等方面
• 原因分析：
  • 没有使用GPU资源进行模型训练
  • 模型训练时使用过小的学习率，导致参数更新慢
  • 模型训练时使用了过大的batch size，导致参数更新频次少
  • 模型训练时使用了过小的batch size，没有充分利用计算资源
  • 没有使用预训练参数，重头训练效率低
  • 没有使用Batch Norm等做数据归一化
  • 训练过程中存在过多的内存、磁盘访问
  • 模型过于简单，不具备学习复杂任务的能力
  • 使用了过强的正则化，限制了模型的学习能力
  • 没有使用单机多卡、多机多卡并行训练
  • 模型复杂度高，参数量大，以及使用过大的图像分辨率
  • 训练数据量大，数据加载成为性能瓶颈

---

常见问题和思考——模型预测阶段

模型预测指标

• 分类模型：准确率、召回率、PR曲线、ROC曲线（类别不均衡）
• 检测模型：mAP、准确率、召回率
• 特征提取模型：top 1、top K、r_precision

模型预测效果差

• 常见问题：神经网络模型训练效果较好，但是在预测阶段模型表现较差
• 原因分析：
  • 模型训练和测试的数据处理pipeline不一致，比如训练时做了Normalize，测试时没做Normalize
  • 模型在测试时没有切换到推理模式，如pytorch中的eval()转换
  • 输入的数据维度不正确，比如训练时使用[N, C, H, W]，测试时也要使用同样的数据维度顺序，有些模型即使输入的数据尺寸和训练时不一样也不会报错
  • 模型参数加载不完全，以pytorch框架为例，加载模型时设置完全匹配的参数为False，在加载过程中即使参数和模型不匹配也不会报错，但是会使用默认的随机参数

模型预测资源占用高

• 常见问题：神经网络模型在预测阶段GPU使用率低，CPU使用率高，或者出现显卡内存溢出
• 原因分析：
  • 数据预处理在CPU上进行，没有充分利用GPU算力
  • 在预测阶段模型没有设置成推理模式，计算产生无用的中间结果占用资源
  • 深度学习框架如Pytorch自动搜索最优算子导致显存占用短暂飙升

模型处理未知类别

• 常见问题：如何让分类模型对未见过的数据类别说“不知道，不认识”，提升鲁棒性
• 解决方案：
  • 给分类模型添加一个其他类别，此种方法不适用于真实开放环境
  • 使用BCE（Binary Cross Entropy）多标签二分类损失函数，以猫狗分类为例，分别输出是猫狗的概率，如果输出既不是猫也不是狗，则表示未知
  • 使用表征学习（度量学习）方法通过特征匹配进行分类识别，将输入的数据与已知类别进行相似度匹配

模型效果提升

• bad case分析：数据决定了模型的上限，提升模型性能首先应当从数据层面入手，避免脏数据带来的负面影响
• 数据增强：通过给训练数据增加异常扰动提升模型效果的鲁棒性
  • 图像数据增强：随机裁剪、旋转、翻转、缩放、颜色/亮度/对比度调整、多图像融合等
  • 音频数据增强：频谱随机连续掩码、多频谱融合等
• 选择合适的网络架构：针对具体的使用场景选择合适的网络架构，如图像使用2D卷积、音频使用1D卷积等
• 选择合适的损失函数：针对具体任务使用合适的损失函数，常见的是分类损失、回归损失及混合损失
• 选择合适的评价指标：如分类使用准确率、召回率，类别不均衡使用ROC，目标检测使用mAP等
• 使用开源预训练模型：预训练模型通常具备较好的参数基础，在此基础上进行训练有助于提升性能
• 多模型融合：使用不同的弱模型训练多个效果稍弱的模型，融合多个模型结果提升最终性能
• 知识蒸馏：使用知识蒸馏将大模型学习到的知识迁移到小模型，在提升效果的同时还可以提升速度

---

常见问题与思考——模型推理加速

模型推理加速

• 数据处理层面
  • 将数据预处理、后处理等操作在GPU上进行
  • 避免在CPU和GPU之间频繁进行数据拷贝
  • 避免保存大量的中间结果，如磁盘写入
• 网络模型层面
  • 模型剪枝：根据具体业务场景，裁剪掉与业务不相关的计算模块
  • 算子融合：将多个算子融合成一个，减少内存访问次数，如将Conv + BN融合成Conv
  • 半精度推理：使用float16进行模型推理
  • 分组卷积：使用分组卷积降低网络模型的参数量和计算量，但是会增加内存访问次数
  • 模型蒸馏：将大模型学习到的知识迁移到小模型，在提升效果的同时还可以提升速度
• 部署工具层面
  • 服务端：ONNX、TensorRT
  • 移动端：NCNN、MNN

影响模型速度的主要因素

• 数据处理层面
  • 没有使用GPU资源进行推理
  • 输入数据尺寸大，如高分辨率图像
• 模型架构层面
  • 网络模型参数量大
  • 网络模型计算量大
  • 网络模型并行度低，如存在多分支结构等
  • 内存访问次数多，如大量使用分组卷积
• 工程实现层面
  • 没有使用批量推理，没有充分利用GPU的并行计算能力
  • 不合理的数据复用导致频繁拷贝

---

常见问题与思考——工程化问题

工程化常见问题

• 算法集群扩容
  • kafka topic的partition数量要大于算法消费者数量
• 直播场景混流和AI算法结果对齐
  • 算法解码处理直播流内容，获取每帧的dts、pts时间戳
  • 混流侧根据算法返回结果以及dts、pts时间戳对齐到原流，将算法结果压制到直播流中
  • 算法侧和混流侧使用pts解码时间戳对齐，不用dts时间戳，否则会造成画面闪烁
• Kafka、Redis数据保存周期
  • 根据业务场景和处理性能设定保存周期，保存周期过长造成额外资源占用，保存周期过短造成数据丢失
• Restful API高稳定性、高并发
  • 算法模型对外提供API接口需要关注高并发、高稳定性，通常使用gunicorn进行部署
  • 算法模型高并发部署需要成倍的资源，重点关注显存、内存和CPU资源占用情况
• 容器化部署
  • 关注容器CUDA版本与主机显卡驱动，以及深度学习框架之间的匹配问题