双源判别器提升城市场景语义分割精度

篇名问题背景方法其他基于双源判别器的域自适应城市场景语义分割(2023)1.跨域数据集外观分布不同导致域差异导致对抗训练不稳定分割精度不够理想。2.网络对小目标分割精度不理想双源判别器判别器输入包含 2 个不同域 的特征信息1对源域 S 使用风格转换方法 FastPhotoStyle 得到新源域 S从图像层面降低域差异。2利用生成器分别提取源域 S、新源域 S和目标域 T 的分割特征图将新源域的特征图作为中间桥梁分别与源域特征图目标域特征图进行通道维度上的特征融合3将得到的 2 个融合后的特征图输入双源判别器中双源判别器和生成器迭代进行对抗训练引入自训练的伪标签将自训练的伪标签根据阈值选取置信度最高的作为目标域的监督信息融入对抗训练值类平衡因子的引入将伪标签中最大概率类别出现的频率之和作为类平衡损失因子引入损失函数中效果降低域差异使模型训练更加稳定更好地实现特征对齐从而提升性能和分割精度避免模型的预测结果偏向源域。缓解分割网络中类不平衡问题增加网络对小目标的分割能力。PS:对应方法图引导的特征融合和分组对比学习的域自适应语义分割(2024)1.原有方法没有考虑两个域像素之间的关联性以及类不平衡问题使语义分割网络的跨域性能较差2. 解决数据集中存在的类不平衡问题同时提取到更多域不变特征双跨域图卷积网络1构造了跨域的位置相似性矩阵和通道相似性矩阵通过双跨域图卷积来更新图像特征图上的 结点信息建立域内和域间像素的长距离上下文依赖关系使无监督域自适应分割网络能提取到更多 的域不变信息。 2为了解决类不平衡问题提出了分组对比学习方法构造了分组对比损失函数以进一步提取域不变特征。局限域之间的位置信息挖掘的不够充分导致模型在一些类别较复 杂的场景仍会出现错误分类的情况一种结合域自适应的图像语义分割算法2021数据的收集和标记成本高昂真实图像与合成图像在分布域上存在的差异会降低模型性能使用成本较低的计算机生成并标记的合成数据训练深度神经网络通过在输出空间上的对抗学习实现域自适应根据WGAN对对抗学习损失函数进行改进采用的域自适应方法是基于卷积神经网络的端到端算法通过构建多级对抗学习网络来利用不同级别特征信息以提升模型性能。基于深度学习和域自适应的图像语义分割2020主要问题当前的图像分割方法都难以满足工业界的需要尤其是为了采集训练用数据集带来 的巨大人力物力财力消耗细分问题图像语义分割的特征对齐可能会因为需要 编码大量视觉信息包括外观、形状和背景信息的复杂高维特征影响导致效果 不好特征级别低的的可能不会很好的进行域自适应因为他们 距离高层级的标签输出太远主要问题解决方案提出了一种创新的生成对抗网络可以进行无监督的图片风格迁移这个方法基于公共潜在空间的假设将不同域上的图像通过编码器映射到公共空间的一个编码上最后在用解码器重建图像以此达到了无监督的图像转换为后续 的图像分割工作提供基础使用两个级联的生成对抗网络利用对抗的思想使得网络在不同域上的输出趋于一致并且让判别器无法判断输出来自目标域还是源域。提出了一种多样性学习方 法多样性学习方法通过在多风格数据集上训练校正了网络在预测时对物体纹 理信息的倾向性转而更多地依靠形状来判断细分问题对应方案像素级预测模型迁移方法在输出空间上分割图进行像素级别的域自适应多层级域自 适应的策略这个策略通过结合分割网络不同层上的输出特征进行对抗学习达成 了多层级适应的目的一、图像分割的国内外研究历史和现状传统分割方法1.阈值法2.区域生长方法3.分水岭算法4.基于边缘检测的图像分割算法基于深度学习的分割方法语义分割、实例分割、全景分割特征提取领域VGGNet(深度卷积神经网络)-ResNet(残差网络)-全卷积网络-无监督的图像分割仍存问题在某些场景中分割速度是更重要的评价指标能够接近实时的分割推理速度运行分割模型是这些场景的迫切需求速度、精度和计算复杂度之间的平衡仍为挑战深度学习模型的可解释性 是否存在针对特定数据分布且能达到一定分割精度的最小神经网络结构基于鉴别模型和对抗损失的无监督域自适应方法2020收集注释良好的图像数据集来训练深度学习算法成本过高 且耗时而仅在渲染图像训练的模型通常无法推广到真实图像原方案无监督域自适应算法试图在 2个域之间映射一些表示或提取域不变的特征将 2 个域映射到共同的特征空间本文方法基于生成对抗 网络( GAN) 架构的无监督域自适应方法使用鉴别模型无需权重共享、对抗损失 和辅助分类任务以无监督的方式学习从一个域到另一个域的变换。首先使用源域中的标签学习鉴别表示 然后使用通过域-对抗性损失学习的非对称映射将 目标数据映射到同一空间的单独编码。辅助分类任务结合辅助的任务学习共同的特征表示本文方法优势与特定任务的体系结构分离跨标签空间 的泛化以及训练稳定辅助分类任务优势最大限度地丰富训练样本增强学习到特征的 泛化性能而且有效增大类间距离和减小类内距离 有利于提高分类精度。Bidirectional Learning for Domain Adaptation of Semantic Segmentation双向学习在语义分割域适应中的应用1.手动为大型数据集标注像素级别的标签既昂贵又耗时。现有的域适应技术要么局限于小数据集要么与监督学习相比性能不佳2.原有的通过减少域偏移获得的性能受限于图像到图像翻译的质量。一旦翻译失败后续步骤就无计可施提出了一种新的双向学习框架用于图像语义分割的域适应。该系统包含两个独立的模块图像到图像的转换模型和分割适应模型学习过程涉及两个方向即“翻译到分割”和“分割到翻译”。整个系统形成了闭环学习。两个模型将交替促进彼此从而使域差距逐渐减小。在正向即“翻译到分割”上提出了一种自监督学习SSL方法来训练分割适应模型。在反向提出了一种新的感知损失它强制每个图像像素与其翻译版本之间的语义一致性从而在翻译模型和分割适应模型之间建立桥梁图像翻译和分割适应模型共同训练在训练过程中分割模型可以为图像翻译提供反馈帮助改善翻译结果的质量和准确性。同时经过改进的翻译结果又可以作为更好的输入数据进一步提升分割模型的性能这种方法不仅可以利用虚拟数据来扩充训练集还可以通过减少域差异来提高分割模型的性能具体解释双向学习该方法通过源域和目标域之间的双向信息流动来减小域间差异。模型不仅从源域学习还从目标域中学习增强了对目标域数据的适应能力。自监督学习自监督学习是一种利用数据自身的信息来训练模型的方法。这种方法不需要额外的标签而是从数据中提取有用的特征进行训练。通过引入自监督学习模型能够进一步增强其泛化能力提高在未见过的数据上的性能。Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training基于类平衡自训练的无监督领域自适应语义分割2018源数据与目标数据之间存在很大差异可能导致性能显著下降并且不能通过进一步增加表示能力来轻易解决。语义分割需要对每个像素进行密集的预测这要求模型不仅要学习全局的域转换还要保留精细的局部结构信息通过最小化域对抗损失来减少源域和目标域特征分布之间的全局和类别差异的方法效果不理想提出了一种基于迭代自训练ST过程的新型UDA框架可以在目标数据上交替生成伪标签并使用这些标签重新训练模型。在ST的基础上还提出了一种新颖的类别平衡自训练CBST框架生成具有平衡类别分布的伪标签以避免在伪标签生成过程中大类别逐渐占据主导地位引入空间先验来优化生成的标签。通过结合源域中的类别频率信息和交通场景的常见结构特点帮助模型更好地理解和适应目标域中的图像数据调整模型的输出使其更符合场景的常见结构。1.该模型能够更好地处理迁移难度较大的类别因为不同类别的迁移难度可能因数据分布、视觉外观或语义复杂性而异。CBST的引入有效地缓解了这个问题提高了整体分割性能。2.利用空间先验信息提高了模型的适应性增强了其在不同数据集之间的泛化能力。3.该方法与对抗性域适应方法兼容可与现有的对抗性域适应技术相结合以进一步提高模型的性能Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision2020原方法主要关注于减少源域和目标域之间的全局差异忽略了目标域内部可能存在的分布变化。在实际应用中目标域数据可能由于各种因素如光照、噪声等而呈现出不同的视觉外观和语义复杂性。这种域内差异可能导致模型在目标域内的某些子集上性能不佳。提出了一种两步自监督域适应方法旨在同时最小化域间差距和域内差距。1.域间适应。2.使用基于熵的排序函数将目标域划分为简单和困难两部分。3.从简单子域到困难子域采用自监督适应技术。具体1.使用源域数据训练一个初始的分割模型。2.利用该模型对目标域数据进行预测并根据预测结果的不确定性或其他度量指标将目标域划分为不同的子集。3.针对每个子集应用自监督学习方法通过最小化子集内部的分布差异来优化模型。1.通过优化模型在简单图像上的性能获得一个较好的初始模型。2.利用迭代自训练的方法逐步将困难图像纳入训练过程根据模型在简单图像上的预测结果来生成伪标签将这些伪标签用于监督模型在困难图像上的训练不断迭代该过程。优点能够同时减少域间差距和域内差距可以帮助模型更好地适应目标域内的各种变化条件从而提高模型在目标域上的性能进而提高整体性能。不足在现实中源域和目标域之间的差距太大使得难以在目标域中筛选出足够数量的简单部分进行域内监督Source-Free Domain Adaptation for Semantic Segmentation语义分割的无源域适应2021现有的无监督域适应方法需要完全访问源数据集以便在模型适应过程中减少源域和目标域之间的差距。但源数据集通常是私有的无法与训练好的源模型一起发布。SFDA框架在知识迁移和模型适应两个阶段之间交替工作通过知识迁移从固定的源模型中保留源域知识知识迁移利用一个生成器来估计源域工作域并合成与真实源数据分布相似的假样本这些样本可用于将域知识从训练好的源模型转移到目标模型。引入了一种双注意力蒸馏DAD机制帮助生成器合成具有有意义语义上下文的样本这有利于高效的像素级别域知识转移模型适应提出了一种基于熵的域内块级自监督模块IPSM以在模型适应阶段利用正确分割的块作为自监督通过结合像素级和块级损失来充分利用目标域的信息并进一步提高分割性能解决了传统UDA方法需要源数据集的问题这在保护数据隐私和实际应用中具有重要意义此外SFDA框架中的知识迁移和自监督学习机制能够充分利用源模型和目标域数据的信息进一步提高了域适应的效果。