OpenMMLab AI实战营第五次课程

语义分割与MMSegmentation

什么是语义分割

任务： 将图像按照物体的类别分割成不同的区域
等价于： 对每个像素进行分类

应用：无人驾驶汽车

自动驾驶车辆，会将行人，其他车辆，行车道，人行道、交通标志、房屋、草地与树木等
等按照类别在图像中分割出来，从而辅助车辆对道路的情况进行识别与认知。

应用：人像分割

实时替换视频的背景
在智慧互娱和智能会议场景中，可
以通过这种方法增加交互的多样性

应用：智能遥感

分辨地表物体的类别，通过右侧分割之后的图像可以看到，红色的部分属于湖泊水流。通过智能遥感
能够监测不同季节地表水域的变化，从而辅助农业生产，以及旱灾洪灾的预测等等。

应用：医疗影像分析

通过图像分割技术，辅助进行
医疗诊断。如右图，识别脑部
肿瘤异物的位置。

空洞卷积与DeepLab 系列算法

DeepLab 系列

DeepLab 是语义分割的又一系列工作，其主要贡献为：
• 使用空洞卷积解决网络中的下采样问题
• 使用条件随机场CRF 作为后处理手段，精细化分割图
• 使用多尺度的空洞卷积（ASPP 模块）捕捉上下文信息
DeepLab v1 发表于2014 年，后于2016、2017、2018 年提出v2、v3、v3+ 版本。

空洞卷积解决下采样问题

图像分类模型中的下采样层使输出尺寸变小
如果将池化层和卷积中的步长去掉：
• 可以减少下采样的次数；
• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量参数
• 使用空洞卷积（Dilated Convolution/Atrous Convolution），在不增加参数的情况下增大感受野

DeepLab 模型

DeepLab 在图像分类网络的基础上做了修改：
• 去除分类模型中的后半部分的下采样层
• 后续的卷积层改为膨胀卷积，并且逐步增加rate来维持原网络的感受野

条件随机场Conditional Random Field, CRF

模型直接输出的分割图较为粗糙，尤其在物体边界处不能产生很好的分割结果。
DeepLab v1&v2 使用条件随机场(CRF) 作为后处理手段，结合原图颜色信息和神经网络预测的类
别得到精细化分割结果。

条件随机场

CRF 是一种概率模型。DeepLab 使用CRF 对分割结果进行建模，用能量函数用来表示分割结
果优劣，通过最小化能量函数获得更好的分割结果。