SAM：Segment Anything Model

原文towardsdatascience.com/sam-segment-anything-model-4b25a47245f2简介变压器已被广泛应用于自然语言处理用例但它们也可以应用于人工智能的多个其他领域例如时间序列预测或计算机视觉。将 Transformer 模型应用于计算机视觉的绝佳例子包括用于图像生成的 Stable Diffusion、用于目标检测的 Detection Transformer或者更近期的 SAM 用于图像分割。这些模型带来的巨大好处是我们可以使用文本提示轻松地操纵图像只需一个好的提示即可。这种类型模型的用例是无限的尤其是如果你在一家电子商务公司工作。一个简单、耗时且昂贵的用例是从拍照到在网站上发布销售的过程。公司需要拍照移除使用的道具最后在发布到网站之前用颜料填补道具留下的空洞。如果整个流程可以通过 AI 自动化而我们的人力资源只需处理复杂的用例并审查 AI 完成的工作那会怎么样呢在本文中我详细解释了 SAM一个图像分割模型以及它在假设用例中的实现其中我们想要进行 A/B 测试以了解哪种类型的背景会增加转化率。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d9332bff020ee214f5e682fc28bc71f5.png图 1Segment Anything 模型由作者使用 DALL-E 生成的图像和往常一样代码可在Github上找到。Segment Anything Model (SAM) [1] 是 Meta 开发的一种分割模型旨在通过提示创建图像中对象的掩码提示可以是文本、掩码、边界框或图像中的某个点。其灵感来源于自然语言处理领域的最新发展尤其是大型语言模型在给定的模糊提示下用户期望得到一个连贯的响应。沿着同样的思路作者们希望创建一个模型即使提示模糊且可能指向图像中的多个对象也能返回有效的分割掩码。这种推理导致了预训练算法和下游任务零样本迁移的一般方法的开发。SAM 作为一种可提示的分割任务求解器可以通过提示工程解决比训练时更多的不同分割任务使其适用于广泛的用例而无需在您自己的数据上进行少量或无微调。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4beab943fa22c1be436e2ff9d0baf058.png图 2SAM 架构(来源)它是如何工作的如图 2 所示SAM 有三个主要组件1. 图像编码器它是从掩码自编码器模型MAE[2]中改编而来。MAE 在分成常规非重叠补丁的图像上预训练其中 75%的补丁被掩码。在此图像变换之后编码器接收未掩码的补丁并将其编码为嵌入向量。然后该向量与掩码标记标识需要预测的缺失补丁和位置嵌入连接然后通过解码器重建原始图像。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/dfc85b2c5f0368fb90a7930d50de44f6.png图 3MAE 模型的训练过程作者制作整个过程中最重要的部分是决定哪些补丁应该被掩码。这依赖于不放回的随机抽样与高掩码比率75%一起保证了复杂的图像重建任务该任务不能简单地通过从可见的邻近补丁外推来解决。因此编码器必须学习如何创建高质量向量表示的图像以便解码器可以正确地重建原始图像。作者将图像编码器改编以生成一个嵌入该嵌入是原始图像的 16 倍下采样具有 64×64 的维度和 256 个通道。2. 灵活提示编码器有四个不同的组件这些组件根据提供的提示触发。掩码由一个卷积神经网络表示该网络通过 2×2 的核和步长-2 的卷积操作将图像下采样两次输出通道分别为 4 和 16。之后一个 1×1 的卷积将通道维度映射到 256然后逐元素添加到图像编码器的输出。如果没有提供掩码则用学习到的表示“无掩码”的嵌入替换掩码嵌入。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9b81e5465c4e261a791b030f7b89b495.png图 4在 SAM 架构中处理掩码提示作者制作点被表示为一个位置嵌入和一个表示点是否在背景或前景的两个学习嵌入之一。位置嵌入是通过应用作者在[3]中开发的工作来实现的。一个点的坐标在输入多层感知器MLP之前被映射到傅里叶特征中这显著提高了生成的输出。如图 5 所示对于图像回归任务当使用傅里叶特征时模型能够生成一个非模糊的图像。对于 SAM作者应用相同的逻辑并创建一个 256 维向量来表示点位置。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ee47754d59aeb4b8e5709b8ded78ad98.png图 5位置嵌入创建由作者制作框遵循与点相同的原理其中有一个位置嵌入用于左上角另一个用于右下角但它不是用两个学习嵌入来识别前景或背景而是有两个学习嵌入来识别左上角和右下角。文本由 CLIP [4] 中的文本编码器编码。CLIP 是由 OpenAI 开发的一个模型它被训练来预测哪个图像与哪个图像配对而不是传统的预测一组固定对象类的方法。这种方法使文本编码器创建的嵌入与图像编码器对齐从而允许基于两个向量嵌入之间的余弦相似度执行零样本分类。SAM 中的文本编码器的输出是一个 256 维向量。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/aa8034ada899c78379343d5366824475.png图 6文本和图像编码器一起训练以创建相似的嵌入由作者制作3.最后快速掩码解码器有 2 个解码器层它们将图像嵌入和一组提示嵌入映射到一个输出掩码。解码器层接收提示标记作为输入这些输入通过一个自注意力层进行转换。其输出与图像嵌入在交叉注意力层中结合以使用图像信息更新提示嵌入。最后新的提示嵌入通过一个 MLP 层该层输入一个新的交叉注意力负责使用提示信息更新图像嵌入。第二个解码器层的输出即由输入提示条件化的图像嵌入通过两个转置卷积层进行上采样以放大图像。同时MLP 输出与相同的图像嵌入在一个新的交叉注意力层中结合以输入一个 3 层 MLP生成一个向量通过空间点积与上采样图像嵌入结合以生成最终的掩码。注意在每一层注意力中都会将位置编码添加到图像嵌入中。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/8a77db62c948b17a88adbee899efffb9.png图 7解码器架构由作者制作使用 SAM 定制您的产品着陆页在本节中我们将在一个假设用例中实现 SAM我们的目标是创建产品着陆页的几个版本以执行 A/B 测试并检查哪个背景导致更高的转化率。为了实现这一点我们将使用 Hugging Face (HF) 中可用的模型facebook/same-vit-huge。我们首先导入库定义 HF 令牌和一些辅助函数以可视化结果show_mask用于显示图像中的特定掩码。show_masks_on_image使用show_mask在图像上绘制 SAM 创建的所有掩码。add_background用于将原始图像与您选择的背景结合。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnpimportipyplotimportgcfromtransformersimportpipeline access_tokenYOUR HUGGING FACE TOKENdefshow_mask(mask,ax,random_colorFalse):ifrandom_color:colornp.concatenate([np.random.random(3),np.array([0.6])],axis0)else:colornp.array([30/255,144/255,255/255,0.6])h,wmask.shape[-2:]mask_imagemask.reshape(h,w,1)*color.reshape(1,1,-1)ax.imshow(mask_image)delmask gc.collect()defshow_masks_on_image(raw_image,masks):plt.imshow(np.array(raw_image))axplt.gca()ax.set_autoscale_on(False)formaskinmasks:show_mask(mask,axax,random_colorTrue)plt.axis(off)plt.show()delmask gc.collect()defadd_background(bg_path,original_image,sam_mask)-None:# load backgroundbackgroundnp.array(Image.open(bg_path).resize((512,512)))# reverse mask and add the third dimension for easier numpy manipulationreverse_masknp.where(sam_mask0,1,0)reverse_maskreverse_mask.reshape((reverse_mask.shape[0],reverse_mask.shape[1],1))# create a hole in the background equal to the objectbackgroundbackground*reverse_mask# convert original image to numpy and add third dimension to masknp_imagenp.array(original_image)masksam_mask.reshape((sam_mask.shape[0],sam_mask.shape[1],1))# add speaker to backgroundimgbackground(mask*np_image)# plot all imagesipyplot.plot_images([original_image,Image.fromarray(background.astype(uint8)),Image.fromarray(img.astype(uint8))],labels[original,background,final],img_width512)之后我们可以加载我们想要分割的图像。在我们的例子中我们想要分割马歇尔扬声器以便能够自定义背景。raw_imageImage.open(IMG_0126.jpg).resize((512,512))# model was trained with squared imagesipyplot.plot_images([raw_image],labels[original],img_width512)https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/20663b1b20747b22ba705ff8c23e7adb.png图 8待分割的马歇尔扬声器作者拍摄我们将 SAM 应用于我们的图像这将分割每个对象而不仅仅是马歇尔扬声器因为我们没有提供任何提示。尽管论文声称它可以接收文本提示作为输入但现有的实现并不允许这样做。因此我们需要搜索与说话者相关的掩码在这种情况下它是第三个掩码。# load modelgeneratorpipeline(mask-generation,modelfacebook/sam-vit-huge,device0,tokenaccess_token)# generate masksoutputsgenerator(raw_image,points_per_batch64)# plot masks on original imagemasksoutputs[masks]show_masks_on_image(raw_image,masks)# in our case we want the mask that covers the marshall speakermaskmasks[2]show_masks_on_image(raw_image,[mask])https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/28ae817a26665706df8a0b1534b69efd.png图 9左侧是我们拥有的所有掩码右侧是我们感兴趣的掩码作者制作创建并识别了掩码后只需在产品着陆页上创建几个具有不同背景的图像进行测试看看哪一个会导致更高的转化率。掩码使我们能够知道说话者在图像中的位置因此我们可以使用 numpy 操作来操纵原始图像和背景图像将它们结合起来。我们将原始图像的非说话者像素赋值为 0并在背景图像中说话者应放置的像素上也做同样的处理。最后我们将两个 numpy 矩阵相加以创建最终图像。foriinrange(1,5):add_background(fback{i}.jpg,raw_image,mask)https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/eb8540f659e2d846ae66164d3a2a68b9.png图 10使用 SAM 掩码个性化着陆产品页面的背景作者制作好消息HF 中的实现不允许文本提示但在 GitHub 上有一个名为luca-medeiros/lang-segment-anything的项目启用了文本提示。你只需要运行以下命令pip install -U githttps://github.com/luca-medeiros/lang-segment-anything.git并执行以下代码行fromlang_samimportLangSAMdefdisplay_image_with_masks(image,masks):num_maskslen(masks)fig,axesplt.subplots(1,num_masks1,figsize(15,5))axes[0].imshow(image)axes[0].set_title(Original Image)axes[0].axis(off)fori,mask_npinenumerate(masks):axes[i1].imshow(mask_np,cmapgray)axes[i1].set_title(fMask{i1})axes[i1].axis(off)plt.tight_layout()plt.show()modelLangSAM()image_pilImage.open(IMG_0126.jpg).resize((512,512)).convert(RGB)text_promptspeakermasks,boxes,phrases,logitsmodel.predict(image_pil,text_prompt)# Convert masks to numpy arraysmasks_np[mask.squeeze().cpu().numpy()formaskinmasks]# Display the original image and masks side by sidedisplay_image_with_masks(image_pil,masks_np)https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/51cecbaf3323d577caccb1e30c64b324.png图 11使用 SAM 和文本提示生成的掩码作者制作如您所见该模型通过仅向输入添加文本提示*‘speaker’*就成功地为说话者创建了一个掩码。使用这种实现我们可以自动化掩码创建过程我们不再需要搜索我们感兴趣的物体的掩码。结论在电子商务这个快节奏的世界里顾客的需求比以往任何时候都要高能够提供个性化的体验是领先于竞争对手并脱颖而出的一种好方法。如本文所示SAM 在图像中精确识别和描绘对象的能力可以改变产品目录的整理方式通过自动化编辑过程减少上市时间。除此之外我们还可以轻松地创建图像的多个选项无论是像我们处理背景个性化那样还是采用更复杂的方法将 SAM 与 Stable Diffusion 修复模型结合以生成更野性的背景或者添加一些可以增强画面的其他对象。可能性无限解决你所面临的问题时只需发挥创意即可保持联系LinkedInMedium参考文献[1] Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick. Segment Anything. arXiv:2304.02643, 2023.[2] Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick. Masked Autoencoders Are Scalable Vision Learners. arXiv:2111.06377, 2021.[3] Matthew Tancik, Pratul P. Srinivasan, Ben Mildenhall, Sara Fridovich-Keil, Nithin Raghavan, Utkarsh Singhal, Ravi Ramamoorthi, Jonathan T. Barron, Ren Ng. Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains. arXiv:2006.10739, 2020.[4] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever. 从自然语言监督中学习可迁移的视觉模型。arXiv:2103.00020, 2021.