代码讲解系列-CV（五）——语义分割基础

语义分割是图片下进行分割出所检测的目标，而实例分割就是更进一步，对分割出来的图像进行分组。
数据集：https://www.kaggle.com/competitions/carvana-image-masking-challenge/
是在kaggle上的数据集

一、图像分割标注

1.1 Labelme标注

与上一次一样

但是由于有些更精细的目标需要更精确的边界，所以需要SAM进行辅助。

1.2 SAM辅助

1. edit-创建AI多边形
2. 等待SAM模型下载完成
3. 点击鼠标添加query点
4. 保存
   

1.3 json格式

可以通过json里面的点，输出成mask。

就是像这样

二、数据解析

2.1 Dataset

读取image-mask对。总体就是对于，mask和image进行配对，并且对于image进项下采样，因为实际上，我们用不到这么高清晰度的情况（所以设置成scale）

下面这就是图像预处理

---

2.2 train.py

训练脚本

amp就是为了优化显存和速度

2.2.1 取参

2.2.2 分割和数据集的读取

三、Unet网络搭建

3.1 Unet

Unet是比较早做语义分割的
U-Net: Convolutional Networks for Biomedical Image Segmentation
https://arxiv.org/abs/1505.04597

下面就是根据图，复现Unet

tqdm就是进度条

---

3.2 Network

组件

模型

四、损失函数和指标

4.1 DICE系数

跟IOU很像

Dice 系数是一种衡量两个集合相似度的指标，在图像分割任务中用于评估分割结果与真实标签的相似程度

缺点：对边界噪声较敏感（边界不精确可能显著降低 Dice 系数）

4.2 损失函数

交叉熵损失+DICE损失

4.3 半精度训练

五、SAM

https://github.com/facebookresearch/segment-anything

六、作业

一、基于本课内容，搭建unet网络训练以下数据。
https://www.kaggle.com/competitions/carvana-image-masking-challenge/
二、尝试使用
SAM推理当前数据集。