CVPR2024｜vivo提出使用对抗微调获得泛化性更强的SAM，分割性能直接登顶 SOTA！

在计算机视觉不断发展的领域中，基础模型已成为一种关键工具，显示出对多种任务的出色适应性。其中，由 Meta AI 开发的 Segment Anything Model（SAM）在图像分割任务中表现杰出。然而，和其他类似模型一样，SAM 在某些特定的细分应用中也遇到了限制。

针对此问题，VIVO提出了ASAM，这是一种通过对抗性调整来增强SAM性能的新方法。广泛的评估结果证实，ASAM 在分割任务中建立了新的基准，从而有助于计算机视觉基础模型的进步。

ASAM只是提高了SAM的性能，而不需要对架构进行修改。ASAM也是资源友好型的，因为它只需要8个A6000 gpu而不需要额外的数据(1% SA-1B数据)。

相关链接

论文地址：https://arxiv.org/pdf/2405.00256

项目页面：https://asam2024.github.io/

论文阅读

ASAM：增强分段任何模型与对抗性调整

摘要

在不断发展的计算机视觉领域，基础模型已成为关键工具，对各种任务表现出卓越的适应性。其中，Meta AI 的 Segment Anything Model (SAM) 在图像分割方面表现突出。然而，SAM 与其他同类模型一样，在特定的细分应用中也遇到了限制，这促使人们寻求不损害其固有功能的增强策略。

本文介绍了 ASAM，这是一种通过对抗性调整来增强 SAM 性能的新方法。我们利用自然对抗性示例的潜力，灵感来自它们在自然语言处理中的成功实施。通过利用稳定的扩散模型，我们增强了 SA-1B 数据集的一个子集 (1%)，生成了更能代表自然变化而不是传统不可察觉的扰动的对抗性实例。我们的方法保持了对抗性示例的照片级真实感，并确保与原始掩模注释对齐，从而保持了分割任务的完整性。经过微调的 ASAM 在各种分割任务中都表现出显著的改进，而无需额外的数据或架构修改。我们广泛的评估结果证实，ASAM 在分割任务中建立了新的基准，从而有助于计算机视觉基础模型的进步。

方法

ASAM主要包含三个步骤，第一步是对抗性潜在优化，第二步是可控对抗样本生成，第三步是用对抗样本对SAM进行微调。

效果展示

更强大的 SAM

更强大的 SAM。与PGD-Tuning SAM、DAT-Tuning SAM、DatasetDM-Tuning SAM相比。ASAM 在所有14个测试数据集上都明显优于其他调优方法，并且与原始SAM相比实现了性能提升。

对提出的ASAM与其他方法进行定性比较。黄色框代表框提示。

从普通场景、医疗场景等不同场景的定性比较来看，提出的ASAM可以提高SAM的性能。

更强大的 EfficientSAM

更强大的 EfficientSAM。与 EfficientSAM（ EfficientSAM：利用蒙版图像预训练实现高效分割，ESAM，CVPR2024）相比，AESAM 在 16 个不同数据集上实现了性能提升。ESAM 是 Meta 提出的最新成果，在 CVPR2024 上获得满分。

更强大的 HQSAM

更强大的 HQSAM。与 HQSAM（高质量分割任何内容，HQSAM，NeurIPS2023）相比，HQ-ASAM 可以在 4 个不同的数据集上实现性能提升。HQSAM 是由苏黎世联邦理工学院和香港科技大学提出的工作，在 Github 上获得了约 3.4k 个星。

更强大的 SAM 适配器

更强大的 SAM-Adapter。与 SAM-adapter（ICCV2023 研讨会）相比，ASAM-Adapter 在 2 个不同的数据集上实现了性能提升。

结论

本研究中引入的 ASAM 代表了 SAM 通过创新使用对抗性调整而取得的重大进步。我们采用稳定的扩散模型来增强 SA-1B 数据集的一部分，生成了自然、逼真的对抗性图像，从而显著提高了 SAM 在各种任务中的分割能力。这种方法受到 NLP 中对抗性训练技术的启发，在增强 SAM 性能的同时，保留了 SAM 的原始架构和零样本优势。

我们的研究结果表明，ASAM 不仅在分割任务中设定了新的基准，而且还有助于对抗性示例在计算机视觉领域的更广泛应用和理解，为提升大型视觉基础模型的能力提供了一种新颖而有效的方法。

感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～