Work【2】：PGP-SAM —— 无需额外提示的自动化 SAM！

---

前言

和大家分享一下我们发表在 ISBI 2025 上的论文：PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation。

欢迎大家在 arxiv 上阅读：
PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation

代码已经开源！！！期待您的 Star！！！
PGP-SAM

---

Abstract

Segment Anything Model (SAM) 展现了强大且多功能的图像分割能力，并支持直观的提示交互。然而，将SAM定制应用于医学图像分割需要大量像素级标注和精确的点/框提示设计。为解决这些挑战，我们提出了 PGP-SAM——一种基于原型的新型少样本调优方法，通过有限样本替代繁琐的手动提示设计。核心思想是利用类间和类内原型捕获类别特异性知识与关联关系。我们提出两个关键组件：(1) 即插即用的上下文调制模块，用于融合多尺度信息；(2) 类别引导的交叉注意力机制，通过原型与特征融合实现自动提示生成。在公开多器官数据集和私有脑室数据集上的实验表明，PGP-SAM 仅使用 10% 的 2D 切片即可超越现有无提示 SAM 变体的平均 Dice 分数。

---

Introduction

医学图像分割旨在实现对特定感兴趣区域（如组织、器官）的精准识别与轮廓勾画，为医生提供可靠的诊断依据和有效的治疗规划[1,2]。然而，实现精确分割通常需要大量标注数据，其收集与标注过程需要耗费大量时间、专业知识和资源。

分割一切模型（Segment Anything Model, SAM）凭借强大的分割能力和用户友好的提示交互机制，为图像分割领域带来了重大突破。然而，其在零样本医学图像分割中的表现被多项研究证实存在不足，这促使研究者探索如何有效适配SAM至医学领域。当前主流方法侧重于通过微调SAM的图像编码器来提升医学图像分割性能，同时保留其交互特性。这些方法在测试阶段常依赖真实标注数据生成提示。此外，针对SAM的无提示微调方法开始涌现，但这类方法对医学知识的利用尚不充分。尽管取得了显著进展，现有工作仍面临两大挑战：

• (1) 由于自然图像与医学图像存在显著领域差异，全参数或编码器重点微调需要大量标注医学数据；
• (2) SAM对输入点/框提示具有高度敏感性，即使提示存在细微偏差也会显著影响结果，这要求在训练和测试阶段必须设计精确的提示。

为应对这些挑战，H-SAM 采用两阶段分层掩码解码器并冻结图像编码器，该策略仅需 10% 的可用样本即可快速整合医学知识。然而，由于可学习参数量较大，H-SAM在有限数据下仍难以有效学习类别特异性信息。

基于上述少样本设定，我们提出 PGP-SAM（原型引导提示学习 SAM），旨在通过原型学习快速迁移类别特异性知识及器官关联关系。PGP-SAM包含两组原型：类内原型（intra-class prototypes）与类间原型（inter-class prototypes），分别学习 CT 图像中器官的类别特异性表征知识和共享知识。这些原型通过梯度反向传播在训练过程中更新。PGP-SAM 包含两个核心模块：(1) 上下文特征精炼模块（Contextual Feature Refinement），通过通道与空间维度的上下文融合使特征聚焦于感兴趣区域；(2) 渐进式原型优化模块（Progressive Prototype Refinement），通过将每个类内原型与最相似的类间原型匹配，并与图像特征、类别特征交互，最终生成增强型原型以产生精确提示。借助原型机制，我们能够从少量数据中学习核心特征。本方法在公开数据集和私有数据集上均取得优异结果，同时仅引入极少量额外参数。

总结而言，我们的主要贡献包括：

• 提出高效的上下文融合机制，帮助模型更好地学习全局信息
• 设计基于原型的提示编码器，无需额外知识即可为SAM提供精确提示
• 在公开与私有数据集上均达到最先进性能

---

Methods

本节通过微调 SAM 的图像编码器介绍 PGP-SAM 模型。该模型包含多尺度原型引导提示生成器和共享权重的掩码解码器，整体架构如下图所示。

Contextual Feature Modulation

图像编码器提取的特征通常包含丰富的空间细节，但缺乏全局语义理解。受前人工作[15]启发，我们提出上下文特征调制机制(Contextual Feature Modulation, CFM)，在空间和通道维度将全局语义信息注入多尺度特征。

给定每个阶段输入特征 $F_i\in {\mathbb{R}}^{H\times W\times C}$（其中 i ∈ { 1 , 2 } i\in\{1,2\} i∈{1,2}），我们分别在空间和通道维度进行增强。此处采用第一和第四图像块[16]后的特征。在空间维度，通过对高度和宽度方向进行平均池化并求和得到 $F_s\in {\mathbb{R}}^{H\times W\times C}$，进而计算空间特征调制矩阵 $F_i^s\in {\mathbb{R}}^{H\times W\times C}$：

$$F_i^s=F_i\odot \delta ({\phi }_{k\times 1}(\varphi ({\phi }_{1\times k}(F_s))))(1)$$

其中 $\phi$ 表示条带卷积，$k$ 为卷积核尺寸，$\varphi$ 表示层归一化与ReLU激活，$\delta$ 为Sigmoid函数。类似地，通道维度通过平均池化得到 $F_c\in {\mathbb{R}}^{1\times 1\times C}$，计算通道特征调制矩阵 $F_i^c\in {\mathbb{R}}^{H\times W\times C}$：

$$F_i^c=F_i\odot \delta ({\phi }_{1\times 1}(\varphi ({\phi }_{1\times 1}(F_c))))(2)$$

最终将空间调制特征 $F_i^s$ 和通道调制特征 $F_i^c$ 与原始特征 $F_i$ 相加，得到上下文增强特征 ${\tilde{F}}_i$。通过水平和垂直轴的全局池化，CFM捕获轴向上下文信息，使网络聚焦于前景区域，辅助后续原型学习识别最相关的类别特征。

Progressive Prototype Refinement

SAM 的性能依赖于精确提示，微小偏差即影响分割结果[1,13]。为此，我们引入两组原型：

• 类内原型 $P_{\text{intra}}\in {\mathbb{R}}^{N\times C}$（$N$为类别数）
• 类间原型 $P_{\text{inter}}\in {\mathbb{R}}^{Q\times C}$（$Q=\alpha \times N$, $\alpha =8$）

Step 1: 原型匹配
计算 $P_{\text{intra}}$ 与 $P_{\text{inter}}$ 的余弦相似度，为每个类内原型选取top-k最相似的类间原型，拼接形成增强原型 $\hat{P}\in {\mathbb{R}}^{Q\times C}$（$Q=N\times (k+1)$）。

Step 2: 双路径交叉注意力
设计类别引导双路径交叉注意力，融合图像特征 $F_I\in {\mathbb{R}}^{H\times W\times C}$ 与类别特征 $F_M\in {\mathbb{R}}^{H\times W\times N}$：

1. 类别注意力权重 $W_c$ 计算：
   F Θ ′ ′ = ζ ( reshape ( φ ( F Θ ) ) ) , Θ ∈ { I , M } ( 3 ) F_{\Theta}^{\prime\prime}=\zeta\left(\text{reshape}\left(\varphi\left(F_{\Theta}\right)\right)\right),\ \Theta\in\{I,M\} \qquad(3) FΘ′′​=ζ(reshape(φ(FΘ​))), Θ∈{I,M}(3)
   $$W_c=\text{softmax}\left(\phi \left(F_I^{\prime \prime }\otimes F_M^{\prime \prime }\right)\right)(4)$$
2. 查询生成：
   $$\begin{array}{rl}{W}_q& =\text{softmax}(\hat{P}{\hat{F}}^T)\\ {\hat{P}}^{\prime }& =(\alpha \cdot W_c+\beta \cdot W_q)\odot \hat{F}\end{array}(5)$$
   其中 $\hat{F}$ 为 $F_I$ 与 $F_M$ 融合后的特征。

Step 3: 原型更新
将 ${\hat{P}}^{\prime }$ 重塑为 $N\times (k+1)\times C$，分离得到更新后的类内原型 ${\hat{P}}_{\text{intra}}$ 和类间原型 ${\hat{P}}_{\text{inter}}$，通过索引匹配更新原始原型库。

Prototype-based Prompt Generator

为避免信息混淆，我们为密集提示和稀疏提示设计独立生成路径：

密集提示生成
通过类间原型与查询交互生成：
$$D=\text{MLP}(\text{softmax}(F_I\cdot {\hat{P}}_{\text{inter}}^T)\cdot {\hat{P}}_{\text{inter}})(6)$$
其中MLP包含两个点卷积层与GELU激活函数。

稀疏提示生成
通过类内原型与特征交互生成：
$$S=\text{MLP}(\text{softmax}({\hat{P}}_{\text{intra}}^T\cdot F_I)\cdot F_I)(7)$$

双路径设计使提示生成过程既能捕获局部细节（密集提示），又能保持类别区分度（稀疏提示）。

---

Experiment

本节通过在两个分割任务上的实验评估 PGP-SAM 的性能，与现有 SAM 变体进行对比，并通过消融实验分析模块贡献。

Datasets

我们在公开的 Synapse 多器官 CT 数据集和私有脑室 CT 数据集上进行多器官分割实验：

• Synapse数据集：包含18个训练案例和12个测试案例，每个案例约含70个有效切片
• 脑室数据集：包含400个训练案例和100个测试案例，每个案例约含10个有效切片

所有数据在少样本训练中均调整为 512×512 分辨率。

Implementation Details

所有模型在单张 RTX 3090 GPU 上训练，采用数据增强策略（弹性形变、旋转、缩放）。损失函数为交叉熵损失与 Dice 损失的加权组合。我们使用 LoRA 配置（rank=4）对 ViT-b 模型进行微调，优化器选择 AdamW（初始学习率 3e-4，权重衰减 1e-4），训练 50 个 epoch，批量大小为 8。

Results and Analysis

表1和表2分别展示了在Synapse和脑室数据集上的定量结果（Dice系数%）：

关键结论：

• PGP-SAM 在两类数据集上均取得最优 Dice 系数（Synapse: 78.75% vs 73.91%；脑室: 76.39% vs 73.36%）
• 对复杂器官（如胰腺、第三脑室）提升显著（Synapse 胰腺提升 11.29%，脑室第三脑室提升 3.23%）

Ablation Study

---

总结

本文提出了一种基于原型引导的高效少样本医学图像分割方法PGP-SAM。通过设计上下文特征调制模块（CFM）和渐进式原型优化机制（PPR），我们实现了以下突破：

• 高效上下文融合：CFM模块通过空间-通道双路径调制，使模型在有限数据下有效捕获全局语义信息，相比基线模型（71.92% Dice）提升6.83%。
• 精准提示生成：通过类内/类间原型交互，自动生成的密集与稀疏提示在Synapse和脑室数据集上分别达到78.75%和76.39% Dice，显著优于SAMed（73.91%/73.36%）。
• 低参数量适配：仅需微调0.8M参数（占SAM总参数0.6%），即实现跨数据集的稳定性能提升。

实验结果表明，PGP-SAM在复杂解剖结构（如胰腺、第三脑室）的分割任务中展现出更强的鲁棒性。未来工作将探索：

• 三维体积数据中的原型传递机制；
• 多模态医学图像的原型统一表示学习。