管道病害数据集 管道缺陷分割数据集 DeepLabV3+ 训练代码 (针对管道病害优化)市政管道分割

市政管道-管道病害数据集VOC格式包括deposition/root/obstacle/deformation/crack五种病害600张图片Labelme标注标签Mask文件如下无需额外处理支持DeepLabV3、PSPnet、Unet、Unet、Segformer、HRnet、Segnet、DDRnet等模型1直接用于语义分割模型的训练。 1. 管道病害语义分割数据集概况项目属性详细说明数据集名称Pipeline-Defect-Segmentation-Dataset数据总量600张高清管道内窥镜图像标注格式VOC 格式(PNG Mask JPG Image)由 Labelme 转换而来病害类别5 类(详见下表)支持模型DeepLabV3, PSPNet, UNet, UNet, SegFormer, HRNet, SegNet, DDRnet 等应用场景城市地下管网检测、CCTV 视频自动分析、管道健康评估、非开挖修复指导️ 病害类别定义与编码建议在训练前需要确保 Mask 图片中的像素值与以下类别 ID 对应通常 Labelme 转 VOC 后会生成 0, 1, 2, 3, 4 的灰度图类别 ID英文名称中文含义特征描述检测难点0background背景管道正常壁面、水流区分正常纹理与细微裂缝1deposition沉积/淤积底部泥沙堆积、结垢边界模糊与背景颜色相近2root树根侵入须状、条状异物刺入细长结构易断裂漏检3obstacle障碍物石块、建筑垃圾、遗留工具形状不规则种类繁杂4deformation变形/坍塌管道椭圆化、局部凹陷需结合几何形状判断5crack裂缝线性裂纹、网状龟裂极细目标最难的检测项⚠️ 注意如果你的 Mask 文件中像素值不是连续的 0-5请在数据加载时进行映射。通常 Labelme 生成的 JSON 转 Mask 后每个类别对应一个特定的颜色或灰度值需统一转换为单通道索引图0,1,2,3,4,5。 2. DeepLabV3 训练代码 (针对管道病害优化)此代码基于 PyTorch 和torchvision/segmentation_models_pytorch(推荐) 或自定义模型编写。考虑到管道病害中裂缝 (Crack)和树根 (Root)属于细小目标而沉积 (Deposition)属于大区域目标代码中加入了混合损失函数和数据增强策略。 第一步环境准备pipinstalltorch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pipinstallsegmentation-models-pytorch albumentations tqdm matplotlib opencv-python 第二步配置文件 (config.py)importos# 数据集路径DATA_ROOT./pipeline_datasetIMAGES_DIRos.path.join(DATA_ROOT,JPEGImages)MASKS_DIRos.path.join(DATA_ROOT,SegmentationClass)# 存放 Mask 的文件夹# 类别设置 (根据实际 Mask 像素值调整)# 假设背景为 0其他病害依次为 1-5CLASSES[background,deposition,root,obstacle,deformation,crack]NUM_CLASSESlen(CLASSES)# 训练参数EPOCHS100BATCH_SIZE4# 显存不足可减为 2IMG_SIZE512# 管道图通常为圆形或长条512 足够捕捉细节DEVICEcudaiftorch.cuda.is_available()elsecpuLR1e-4WEIGHT_DECAY1e-4# 模型选择ENCODERmobilenet_v2# 可选: resnet34, efficientnet-b3, mit_b2 (SegFormer)ENCODER_WEIGHTSimagenet 第三步数据集加载与增强 (dataset.py)针对管道场景的特殊增强随机旋转管道方向不定、色彩抖动光照不均、弹性变换模拟变形importosimportcv2importnumpyasnpimporttorchfromtorch.utils.dataimportDatasetimportalbumentationsasAfromalbumentations.pytorchimportToTensorV2fromconfigimportIMAGES_DIR,MASKS_DIR,CLASSES,IMG_SIZE# 定义数据增强train_transformA.Compose([A.Resize(IMG_SIZE,IMG_SIZE),A.HorizontalFlip(p0.5),# 管道左右对称A.VerticalFlip(p0.3),# 管道可能倒置或摄像头翻转A.RandomRotate90(p0.5),A.ShiftScaleRotate(shift_limit0.1,scale_limit0.1,rotate_limit15,p0.5),A.OneOf([A.RandomBrightnessContrast(brightness_limit0.2,contrast_limit0.2),A.HueSaturationValue(hue_shift_limit10,sat_shift_limit20,val_shift_limit10),],p0.5),A.Normalize(mean(0.485,0.456,0.406),std(0.229,0.224,0.225)),ToTensorV2(),])val_transformA.Compose([A.Resize(IMG_SIZE,IMG_SIZE),A.Normalize(mean(0.485,0.456,0.406),std(0.229,0.224,0.225)),ToTensorV2(),])classPipelineDataset(Dataset):def__init__(self,images_dir,masks_dir,classes,transformNone):self.images_dirimages_dir self.masks_dirmasks_dir self.classesclasses self.transformtransform self.image_filenames[fforfinos.listdir(images_dir)iff.endswith(.jpg)orf.endswith(.png)]# 过滤确保对应的 mask 存在self.image_filenames[fforfinself.image_filenamesifos.path.exists(os.path.join(masks_dir,f.replace(.jpg,.png).replace(.JPG,.png)))]def__len__(self):returnlen(self.image_filenames)def__getitem__(self,idx):img_nameself.image_filenames[idx]img_pathos.path.join(self.images_dir,img_name)# 适配不同的后缀名mask_nameimg_name.split(.)[0].pngmask_pathos.path.join(self.masks_dir,mask_name)imagecv2.imread(img_path)imagecv2.cvtColor(image,cv2.COLOR_BGR2RGB)maskcv2.imread(mask_path,cv2.IMREAD_GRAYSCALE)# 关键确保 Mask 值是连续的 0,1,2,3,4,5# 如果 Labelme 转出的 Mask 是特定颜色需在此处映射为索引# 这里假设已经是 0-N 的灰度图若有颜色需添加映射逻辑unique_valsnp.unique(mask)# 简单映射示例如果最大值超过类别数可能需要重新映射此处假设已处理正确ifself.transform:augmentedself.transform(imageimage,maskmask)imageaugmented[image]maskaugmented[mask]# LongTensor for CrossEntropyLossreturnimage,mask.long() 第四步训练脚本 (train_deeplabv3.py)使用 Dice CE 混合损失解决裂缝样本少的问题importtorchimporttorch.nnasnnfromtorch.utils.dataimportDataLoaderfromtqdmimporttqdmimportsegmentation_models_pytorchassmpfromdatasetimportPipelineDatasetfromconfigimport*importos# 1. 初始化模型 (DeepLabV3)modelsmp.DeepLabV3Plus(encoder_nameENCODER,encoder_weightsENCODER_WEIGHTS,in_channels3,classesNUM_CLASSES,activationNone# 激活函数放在 Loss 中处理或直接输出 logits).to(DEVICE)# 2. 定义损失函数 (CE Dice 组合提升小目标如裂缝的检测率)classDiceLoss(nn.Module):def__init__(self,weightNone,size_averageTrue):super(DiceLoss,self).__init__()defforward(self,inputs,targets,smooth1):inputstorch.softmax(inputs,dim1)targetstorch.nn.functional.one_hot(targets,num_classesNUM_CLASSES).permute(0,3,1,2).float()intersection(inputs*targets).sum(dim(2,3))dice(2.*intersectionsmooth)/(inputs.sum(dim(2,3))targets.sum(dim(2,3))smooth)return1-dice.mean()criterion_cenn.CrossEntropyLoss()criterion_diceDiceLoss()defcombined_loss(pred,target):cecriterion_ce(pred,target)dicecriterion_dice(pred,target)returncedice# 权重可根据实际情况调整如 0.5*ce 0.5*dice# 3. 数据加载train_datasetPipelineDataset(IMAGES_DIR,MASKS_DIR,CLASSES,transformA.Compose([# 复用 dataset.py 中的 train_transform 逻辑此处简化展示A.Resize(IMG_SIZE,IMG_SIZE),A.HorizontalFlip(p0.5),A.RandomRotate90(p0.5),A.Normalize(mean(0.485,0.456,0.406),std(0.229,0.224,0.225)),lambda**kwargs:{image:ToTensorV2()(imagekwargs[image])[image],mask:torch.from_numpy(kwargs[mask]).long()}]))# 注意实际使用时请直接导入 dataset.py 中的 transform 和类# 为演示方便这里假设你已正确导入fromdatasetimporttrain_transform,val_transform,PipelineDataset train_datasetPipelineDataset(IMAGES_DIR,MASKS_DIR,CLASSES,transformtrain_transform)val_datasetPipelineDataset(IMAGES_DIR,MASKS_DIR,CLASSES,transformval_transform)train_loaderDataLoader(train_dataset,batch_sizeBATCH_SIZE,shuffleTrue,num_workers4)val_loaderDataLoader(val_dataset,batch_sizeBATCH_SIZE,shuffleFalse,num_workers4)optimizertorch.optim.AdamW(model.parameters(),lrLR,weight_decayWEIGHT_DECAY)schedulertorch.optim.lr_scheduler.ReduceLROnPlateau(optimizer,modemin,factor0.5,patience5)best_iou0.0os.makedirs(checkpoints,exist_okTrue)print(f Start Training DeepLabV3 on Pipeline Dataset ({NUM_CLASSES}classes))forepochinrange(EPOCHS):model.train()train_loss0.0# Training Looppbartqdm(train_loader,descfEpoch{epoch1}/{EPOCHS}[Train])forimages,masksinpbar:images,masksimages.to(DEVICE),masks.to(DEVICE)optimizer.zero_grad()outputsmodel(images)losscombined_loss(outputs,masks)loss.backward()optimizer.step()train_lossloss.item()pbar.set_postfix({loss:f{loss.item():.4f}})avg_train_losstrain_loss/len(train_loader)# Validation Loopmodel.eval()val_loss0.0intersection0union0withtorch.no_grad():forimages,masksinval_loader:images,masksimages.to(DEVICE),masks.to(DEVICE)outputsmodel(images)losscombined_loss(outputs,masks)val_lossloss.item()predstorch.argmax(outputs,dim1)forpred,targetinzip(preds,masks):forclsinrange(NUM_CLASSES):p_cls(predcls)t_cls(targetcls)inter(p_clst_cls).sum().item()uni(p_cls|t_cls).sum().item()ifuni0:intersectioninter unionuni miouintersection/(union1e-6)avg_val_lossval_loss/len(val_loader)print(f\n✅ Epoch{epoch1}: Train Loss:{avg_train_loss:.4f}| Val Loss:{avg_val_loss:.4f}| mIoU:{miou:.4f})scheduler.step(avg_val_loss)# Save Best Modelifmioubest_iou:best_ioumiou torch.save(model.state_dict(),fcheckpoints/deeplabv3_plus_pipeline_best.pth)print(f New Best Model Saved! mIoU:{best_iou:.4f})print( Training Finished!) 3. 针对管道病害的特别建议裂缝 (Crack) 与 树根 (Root) 的细化这两类目标非常细标准的 DeepLabV3 可能会将其平滑掉。对策在 Loss 函数中可以给这两个类别增加权重Weighted CrossEntropy或者使用Boundary Loss来强化边缘学习。模型选择如果 DeepLabV3 效果不佳尝试UNet或HRNet它们在保留高频细节细线条方面表现更好。数据不平衡处理沉积 (Deposition) 通常占据大面积而裂缝面积很小。对策确保DiceLoss被启用因为它对类别不平衡不敏感。推理加速管道检测通常是视频流CCTV。为了实时性可以将 Encoder 替换为MobileNet_V2或EfficientNet-B0并使用 TensorRT 进行部署加速。后处理对于预测出的crack掩码可以使用形态学操作开运算去除噪点或使用骨架化算法提取裂缝的中心线以便计算裂缝长度。VOC 格式 Mask 文件无需额外转换即可开始训练高精度的管道病害分割模型。