关于息肉检测和识别项目的总结

前言

整体的思路：首先息肉数据集分为三类：
1.正常细胞 
2. 增生性息肉 
3.  肿瘤

要想完成这个任务，首先重中之重是分割任务，分割结果的好坏， 当分割结果达到一定的准确度后，开始对分割后的结果进行下游分类任务处理。最后在进行两个网络的分类结果的综合处理，从而达到想要的目的和结果。

分割网络的实现

分割网络我们常见的是UNet、Unet++、以及各种Unet的魔改版，这是因为Unet强大的泛化性，以及它能在分割的大部分领域表现出良好的性能所决定的，本次项目的实现并未选择Unet进行实现，而是选择了ESFPNet进行任务分割。这里是关于这个网络的代码，有兴趣的同学可以搜索查看 。

关于ESFP网络结构的介绍

from Encoder import mit
from Decoder import mlp
from mmcv.cnn import ConvModuleclass ESFPNetStructure(nn.Module):def __init__(self, embedding_dim = 160):super(ESFPNetStructure, self).__init__()# Backboneif model_type == 'B0':self.backbone = mit.mit_b0()if model_type == 'B1':self.backbone = mit.mit_b1()if model_type == 'B2':self.backbone = mit.mit_b2()if model_type == 'B3':self.backbone = mit.mit_b3()if model_type == 'B4':self.backbone = mit.mit_b4()if model_type == 'B5':self.backbone = mit.mit_b5()self._init_weights()  # load pretrain# LP Headerself.LP_1 = mlp.LP(input_dim = self.backbone.embed_dims[0], embed_dim = self.backbone.embed_dims[0])self.LP_2 = mlp.LP(input_dim = self.backbone.embed_dims[1], embed_dim = self.backbone.embed_dims[1])self.LP_3 = mlp.LP(input_dim = self.backbone.embed_dims[2], embed_dim = self.backbone.embed_dims[2])self.LP_4 = mlp.LP(input_dim = self.backbone.embed_dims[3], embed_dim = self.backbone.embed_dims[3])# Linear Fuseself.linear_fuse34 = ConvModule(in_channels=(self.backbone.embed_dims[2] + self.backbone.embed_dims[3]), out_channels=self.backbone.embed_dims[2], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))self.linear_fuse23 = ConvModule(in_channels=(self.backbone.embed_dims[1] + self.backbone.embed_dims[2]), out_channels=self.backbone.embed_dims[1], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))self.linear_fuse12 = ConvModule(in_channels=(self.backbone.embed_dims[0] + self.backbone.embed_dims[1]), out_channels=self.backbone.embed_dims[0], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))# Fused LP Headerself.LP_12 = mlp.LP(input_dim = self.backbone.embed_dims[0], embed_dim = self.backbone.embed_dims[0])self.LP_23 = mlp.LP(input_dim = self.backbone.embed_dims[1], embed_dim = self.backbone.embed_dims[1])self.LP_34 = mlp.LP(input_dim = self.backbone.embed_dims[2], embed_dim = self.backbone.embed_dims[2])# Final Linear Predictionself.linear_pred = nn.Conv2d((self.backbone.embed_dims[0] + self.backbone.embed_dims[1] + self.backbone.embed_dims[2] + self.backbone.embed_dims[3]), 1, kernel_size=1)def _init_weights(self):if model_type == 'B0':pretrained_dict = torch.load('./Pretrained/mit_b0.pth')if model_type == 'B1':pretrained_dict = torch.load('./Pretrained/mit_b1.pth')if model_type == 'B2':pretrained_dict = torch.load('./Pretrained/mit_b2.pth')if model_type == 'B3':pretrained_dict = torch.load('./Pretrained/mit_b3.pth')if model_type == 'B4':pretrained_dict = torch.load('./Pretrained/mit_b4.pth')if model_type == 'B5':pretrained_dict = torch.load('./Pretrained/mit_b5.pth')model_dict = self.backbone.state_dict()pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}model_dict.update(pretrained_dict)self.backbone.load_state_dict(model_dict)print("successfully loaded!!!!")def forward(self, x):
#         这段代码是一个模型的前向传递过程。该模型首先通过backbone网络，
#         对输入的x进行特征提取，得到4个不同分辨率的特征图。
#         然后将这些特征图送入LP Header网络进行处理，融合不同层次的特征。
#         接着通过上采样（interpolation）将处理后的特征图进行恢复到原始输入图像尺寸大小，
#         并最终送入线性预测器（linear_pred）获得输出结果。##################  Go through backbone ###################B = x.shape[0]#stage 1out_1, H, W = self.backbone.patch_embed1(x)for i, blk in enumerate(self.backbone.block1):out_1 = blk(out_1, H, W)out_1 = self.backbone.norm1(out_1)#将输入特征图out_1从形状(Batch_Size, N, W, H)变形为(Batch_Size, H, W, N)#其中-1表示自动计算N的值。接着使用permute函数将特征维度N和高宽维度H、W交换位置#变成(Batch_Size, N, H, W)的形状out_1 = out_1.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[0], 88, 88)# stage 2out_2, H, W = self.backbone.patch_embed2(out_1)for i, blk in enumerate(self.backbone.block2):out_2 = blk(out_2, H, W)out_2 = self.backbone.norm2(out_2)out_2 = out_2.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[1], 44, 44)# stage 3out_3, H, W = self.backbone.patch_embed3(out_2)for i, blk in enumerate(self.backbone.block3):out_3 = blk(out_3, H, W)out_3 = self.backbone.norm3(out_3)out_3 = out_3.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[2], 22, 22)# stage 4out_4, H, W = self.backbone.patch_embed4(out_3)for i, blk in enumerate(self.backbone.block4):out_4 = blk(out_4, H, W)out_4 = self.backbone.norm4(out_4)out_4 = out_4.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[3], 11, 11)# go through LP Headerlp_1 = self.LP_1(out_1)lp_2 = self.LP_2(out_2)  lp_3 = self.LP_3(out_3)  lp_4 = self.LP_4(out_4)# linear fuse and go pass LP Header     上采样并拼接lp_34 = self.LP_34(self.linear_fuse34(torch.cat([lp_3, F.interpolate(lp_4,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_23 = self.LP_23(self.linear_fuse23(torch.cat([lp_2, F.interpolate(lp_34,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_12 = self.LP_12(self.linear_fuse12(torch.cat([lp_1, F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))# get the final outputlp4_resized = F.interpolate(lp_4,scale_factor=8,mode='bilinear', align_corners=False)lp3_resized = F.interpolate(lp_34,scale_factor=4,mode='bilinear', align_corners=False)lp2_resized = F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)lp1_resized = lp_12out = self.linear_pred(torch.cat([lp1_resized, lp2_resized, lp3_resized, lp4_resized], dim=1))out_resized = F.interpolate(out,scale_factor=4,mode='bilinear', align_corners=True)return out_resized

上述图片和代码是关于ESFP核心网络的编写，下面就来详细介绍一下这个网络。

backbone（部分引用于原论文）

• 使用model_type来加载预训练模型，这里有5个参数可选。通过指定的预训练权重来初始化backbone网络。
• Mix Transformer编码器(MiT)是一个模块，它利用了ViT网络的思想，并在四个阶段中使用四个重叠的路径合并模块和自注意力预测。
• transformer使用的自注意力层缺乏局部归纳偏差(图像像素是局部相关的，其相关图是平移不变的概念)，会导致数据饥饿问题。
• 为了缓解受小数据集限制的应用面临的数据饥饿挑战，可以利用广泛使用的迁移学习的概念。MiT的编码器利用了这个想法，在大型ImageNet数据库上进行了预训练对于我们的ESPFNet架构，将这些预训练的MiT编码器集成为骨干，并用初始化的解码器再次训练它们。
• 这是一种直接的方法，可以在小型特定任务数据集表现良好性能，同时也能够超过最先进的CNN模型的性能。

Efficient stage-wise feature pyramid（ESFP）

• 高层(全局)特征比低层(局部)特征对整体分割性能的贡献更大。ESFP首先对每个阶段的输出进行线性预测(有效的是连接通道的数量)，然后将这些预处理的特征从全局到局部线性融合。这些中间聚合特征被连接起来，并相互协作产生最终的分割。
• 在训练之前，将输入调整为352 × 352像素，并将其归一化以进行分割。我们还使用随机翻转、旋转和亮度变化作为输入的数据增强操作。损失函数结合了加权交联(IoU)损失和加权二元交叉熵(BCE)损失:

实现细节

这一部分是关于MIt 编码器对图像进行编码的操作。

这一部分则是ESFP对网络进行解码的过程。

LP Header

 # LP Headerself.LP_1 = mlp.LP(input_dim = self.backbone.embed_dims[0], embed_dim = self.backbone.embed_dims[0])self.LP_2 = mlp.LP(input_dim = self.backbone.embed_dims[1], embed_dim = self.backbone.embed_dims[1])self.LP_3 = mlp.LP(input_dim = self.backbone.embed_dims[2], embed_dim = self.backbone.embed_dims[2])self.LP_4 = mlp.LP(input_dim = self.backbone.embed_dims[3], embed_dim = self.backbone.embed_dims[3])

• self.backbone.embed_dims[0] [1] [2] [3]、 获取到相应分辨率的特征图通道数,在这里输入和输出通道是相同的维度数。
• LP Header用于对不同分辨率的特征图进行进一步的处理和提取，以获得更加有用的信息，为后续的特征融合和预测操作做准备。

Linear Fuse（线性融合）

        # Linear Fuseself.linear_fuse34 = ConvModule(in_channels=(self.backbone.embed_dims[2] + self.backbone.embed_dims[3]), out_channels=self.backbone.embed_dims[2], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))self.linear_fuse23 = ConvModule(in_channels=(self.backbone.embed_dims[1] + self.backbone.embed_dims[2]), out_channels=self.backbone.embed_dims[1], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))self.linear_fuse12 = ConvModule(in_channels=(self.backbone.embed_dims[0] + self.backbone.embed_dims[1]), out_channels=self.backbone.embed_dims[0], kernel_size=1,norm_cfg=dict(type='BN', requires_grad=True))

• 通过上述的网络结构图可以看出，我们需要3个线性融合层。
• 通过ConvModule来定义Linear Fuse层，其中in_channels表示Linear Fuse的输入通道数，由两个特征图的通道数相加得到。out_channels表示Linear Fuse的输出通道数，与对应层次的特征图通道数相同。
• 通过这些Linear Fuse层的操作，可以将不同分辨率的特征图进行融合，从而提高特征的表达能力和多尺度信息的利用效果

Fused LP Header（融合的LP Header）

# Fused LP Headerself.LP_12 = mlp.LP(input_dim = self.backbone.embed_dims[0], embed_dim = self.backbone.embed_dims[0])self.LP_23 = mlp.LP(input_dim = self.backbone.embed_dims[1], embed_dim = self.backbone.embed_dims[1])self.LP_34 = mlp.LP(input_dim = self.backbone.embed_dims[2], embed_dim = self.backbone.embed_dims[2])

• 将融合后的特征图的通道数变换为与backbone的对应层次的特征图通道数相同的维度。
• 用于对线性融合后的特征图进行进一步的特征提取和转换，以获得更加有用的信息，并为最终的预测操作做准备

Final Linear Prediction(最终线性预测)

# Final Linear Predictionself.linear_pred = nn.Conv2d((self.backbone.embed_dims[0] + self.backbone.embed_dims[1] + self.backbone.embed_dims[2] + self.backbone.embed_dims[3]), 1, kernel_size=1)

• n.Conv2d用于定义一个二维卷积层，其中的输入通道数为融合后的特征图的通道数总和。
• 输入通道是各个分辨率维度的总和，输出通道为1，表示进行目标检测的预测结果。
• 这个最终的线性预测层将融合后的特征图映射到一维的通道上，以输出目标检测的预测结果。这样，通过特征融合与转换后的特征图，可以进行最终的目标检测操作并得到预测结果。

前向传播

       B = x.shape[0]#stage 1out_1, H, W = self.backbone.patch_embed1(x)for i, blk in enumerate(self.backbone.block1):out_1 = blk(out_1, H, W)out_1 = self.backbone.norm1(out_1)#将输入特征图out_1从形状(Batch_Size, N, W, H)变形为(Batch_Size, H, W, N)#其中-1表示自动计算N的值。接着使用permute函数将特征维度N和高宽维度H、W交换位置#变成(Batch_Size, N, H, W)的形状out_1 = out_1.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[0], 88, 88)# stage 2out_2, H, W = self.backbone.patch_embed2(out_1)for i, blk in enumerate(self.backbone.block2):out_2 = blk(out_2, H, W)out_2 = self.backbone.norm2(out_2)out_2 = out_2.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[1], 44, 44)# stage 3out_3, H, W = self.backbone.patch_embed3(out_2)for i, blk in enumerate(self.backbone.block3):out_3 = blk(out_3, H, W)out_3 = self.backbone.norm3(out_3)out_3 = out_3.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[2], 22, 22)# stage 4out_4, H, W = self.backbone.patch_embed4(out_3)for i, blk in enumerate(self.backbone.block4):out_4 = blk(out_4, H, W)out_4 = self.backbone.norm4(out_4)out_4 = out_4.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()  #(Batch_Size, self.backbone.embed_dims[3], 11, 11)# go through LP Headerlp_1 = self.LP_1(out_1)lp_2 = self.LP_2(out_2)  lp_3 = self.LP_3(out_3)  lp_4 = self.LP_4(out_4)# linear fuse and go pass LP Header     上采样并拼接lp_34 = self.LP_34(self.linear_fuse34(torch.cat([lp_3, F.interpolate(lp_4,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_23 = self.LP_23(self.linear_fuse23(torch.cat([lp_2, F.interpolate(lp_34,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_12 = self.LP_12(self.linear_fuse12(torch.cat([lp_1, F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))# get the final outputlp4_resized = F.interpolate(lp_4,scale_factor=8,mode='bilinear', align_corners=False)lp3_resized = F.interpolate(lp_34,scale_factor=4,mode='bilinear', align_corners=False)lp2_resized = F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)lp1_resized = lp_12out = self.linear_pred(torch.cat([lp1_resized, lp2_resized, lp3_resized, lp4_resized], dim=1))out_resized = F.interpolate(out,scale_factor=4,mode='bilinear', align_corners=True)

前向传播的过程，就是将结果中的完整过程串联起来，进行完整的预测。输入x的形状为(Batch_Size, C, H, W)，其中B表示批量大小，C表示通道数，H和W分别表示输入特征图的高度和宽度

阶段1

        out_1, H, W = self.backbone.patch_embed1(x)for i, blk in enumerate(self.backbone.block1):out_1 = blk(out_1, H, W)out_1 = self.backbone.norm1(out_1)out_1 = out_1.reshape(B, H, W, -1).permute(0, 3, 1, 2).contiguous()

• 通过self.backbone.patch_embed1对输入特征图进行分块嵌入操作，得到输出特征图out_1和新的高度H和宽度W
• 进行self.backbone.block1中的一系列残差块操作，对输出特征图out_1进行特征提取。
• 对out_1进行归一化处理，得到归一化后的特征图out_1。
• 将输入特征图out_1从形状(Batch_Size,H，W)变形为(Batch_Size，N， H, W)，通过reshape进行N维度的计算，-1表示自动计算N的值。接着使用permute函数将特征维度N和高宽维度H、W交换位置，变成(Batch_Size, N, H, W)的形状

阶段2、3、4

与上述阶段一的操作大致相同，也就是图中最上面一层，backbone网络的操作。

LP Header

        # go through LP Headerlp_1 = self.LP_1(out_1)lp_2 = self.LP_2(out_2)  lp_3 = self.LP_3(out_3)  lp_4 = self.LP_4(out_4)

将out_1、out_2、out_3、out_4分别输入到对应的LP模块中（LP_1、LP_2、LP_3、LP_4），得到相应的低层级特征表示lp_1、lp_2、lp_3、lp_4。

也就是黑色框中所做的事情。

线性融合与上采样：

 # linear fuse and go pass LP Header     上采样并拼接lp_34 = self.LP_34(self.linear_fuse34(torch.cat([lp_3, F.interpolate(lp_4,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_23 = self.LP_23(self.linear_fuse23(torch.cat([lp_2, F.interpolate(lp_34,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))lp_12 = self.LP_12(self.linear_fuse12(torch.cat([lp_1, F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)], dim=1)))

• 使用torch.cat函数将lp_3与经过上采样后的lp_4拼接起来，然后通过self.linear_fuse34和LP_34模块进行线性融合，得到lp_34。
• 类似地，通过拼接和线性融合操作得到lp_23和lp_12。

最终上采样

       # get the final outputlp4_resized = F.interpolate(lp_4,scale_factor=8,mode='bilinear', align_corners=False)lp3_resized = F.interpolate(lp_34,scale_factor=4,mode='bilinear', align_corners=False)lp2_resized = F.interpolate(lp_23,scale_factor=2,mode='bilinear', align_corners=False)lp1_resized = lp_12

• 对lp_4进行上采样操作，得到lp4_resized，上采样因子为8；
• 对lp_34进行上采样操作，得到lp3_resized，上采样因子为4；
• 对lp_23进行上采样操作，得到lp2_resized，上采样因子为2；
• lp_12不进行上采样。

最终输出

 out = self.linear_pred(torch.cat([lp1_resized, lp2_resized, lp3_resized, lp4_resized], dim=1))out_resized = F.interpolate(out,scale_factor=4,mode='bilinear', align_corners=True)

• 使用torch.cat函数将lp1_resized、lp2_resized、lp3_resized和lp4_resized进行拼接，得到形状为(B, N, H, W)的特征图。
• 将拼接后的特征图通过self.linear_pred和线性预测模块进行特征转换，得到最终的输出特征图out。
• 对out进行上采样操作，得到out_resized，上采样因子为4。
• 最后对结果进行 Sigmod和Threshold便可以得到分割后的Output。、

分类网络介绍

分割任务完成了，那分类任务则是在分割任务的基础上，再做下游的分类任务。分类网络结构如下

self.conv_layers = nn.Sequential(nn.Conv2d(4, 128, kernel_size=3, padding=1),nn.ReLU(),nn.Conv2d(128, 256, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=2, stride=2),nn.Conv2d(256, 512, kernel_size=3, padding=1),nn.ReLU(),nn.Conv2d(512, 512, kernel_size=3, padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=2, stride=2))self.fc_layers = nn.Sequential(nn.Flatten(),nn.Linear(16**2*512, 512),  # 调整大小以适应您的需求nn.ReLU(),nn.Dropout(0.3),nn.Linear(512, 256),  # 调整大小以适应您的需求nn.ReLU(),nn.Dropout(0.3),nn.Linear(256, 3),nn.LogSoftmax(dim=1))

首先对其进行4次卷积和3次最大池化进行下采样和特征提取。随后定义一个全连接层让通道数最终降到我们所需要的分类数，最后再做一次Softmax。

前向传播过程

前向传播过程则是将我们之前做好的分割结果，和原图进行通道维度cat连接后，再进行一最大池化操作，然后进行分类操作。我们对不同种类的数据做了one-hot类别编码。

以上就是大致总统思路，后续代码会上传到github