UniMMAD: Unified Multi-Modal and Multi-Class Anomaly Detection via MoE-Driven Feature Decompression

论文https://arxiv.org/pdf/2509.25934代码https://github.com/yuanzhaoCVLAB/UniMMAD摘要为了解决问题随便凑出来的问题提出了 基于专家混合模型MoE的目标检测。可以在3个领域、12种模态和66个类别的9个异常检测数据集上取得了最先进的性能。1、 在编码阶段多模态输入经过压缩成通用特征。2、在解码阶段通用特征通过sparsely-gated cross MoE解压缩为模态和类别的形式。另外sparsely-gated cross MoE根据输入模态和类别动态选择专家路径。3、为了进一步提高效率我们设计了一种分组动态滤波机制和MoE嵌套结构在保持稀疏激活和快速推理的同时将MoE参数的使用量减少了约75%。摘要的英文真难懂啊~感觉文章的内容挺好的接着看吧1 Introduction对于多数据集的检测任务面临两大挑战1领域异质性大。不同模态和类别之间复杂的相互作用导致外观、光照、尺度、背景和异常语义等方面存在较大差异使得一致的表征学习和异常区分变得困难。2效率和持续学习的实际限制。一个实用的统一异常检测模型必须确保高精度、快速推理、稀疏计算并且能够适应新的类别或模态而不会发生灾难性catastrophic forgetting遗忘。现有的多类异常检测模型[6, 7]在不同类别之间共享一条重建路径。虽然这种共享路径参数效率高但它会加剧领域干扰interference导致正常模式重建效果差和误报率高。为了应对这些挑战我们提出了 UniMMAD其核心是1基于专家混合模型MoE的特征解压缩机制旨在解决异构输入造成的纠缠问题。统一异常检测需要一个共享模型来处理跨模态和类别的大幅领域偏移这通常会导致使用单个解码器时出现失真重建和误报。MoE 通过启用稀疏的、输入条件化的专家激活来自然地缓解这一问题使专家能够在共享全局参数的同时专注于特定领域。这使得通用潜在特征能够分解为各种特定领域的输出。UniMMAD 使用统一编码器将任意多模态输入压缩成紧凑的特征并使用动态 MoE 解码器以最小的干扰自适应地将这些特征解压缩成特定任务的重建结果。如图 2b 所示1学习一个强大的通用多模态编码器该编码器能够灵活地适应不同的模态组合并有效地融合跨模态信息。2我们在编码器中嵌入了一个特征压缩模块以生成紧凑且纯净的潜在表示。这可以压缩通用特征并抑制异常模式的传播。3在解码阶段我们设计了交叉混合专家C-MoE算法来减少解压缩过程中的领域干扰。C-MoE 使用了一种交叉条件专家选择机制该机制考虑了通用特征和特定领域的先验信息以动态地选择最优的解压缩路径。这实现了任务隔离和专家自适应扩展。4我们通过分组动态滤波和层级式 MoE-in-MoE 结构增强了 C-MoE。将密集专家组嵌套在稀疏 MoE 中并启用并行执行可以在保留 MoE 稀疏激活优势的同时将参数开销降低约 75%。2 Related WorkMulti-modal Anomaly Detection多模态异常检测融合了来自RGB、深度和表面法线等传感器的互补信息以增强其在复杂环境中的鲁棒性。M3DM [5] 使用patch-level contrastive learning and decision-level fusion来处理RGB和点云数据。MMRD [14] 通过everse distillation引入了表面法线模态。为了降低内存占用CFM [3] 提出了一种轻量级的跨模态映射和层剪枝方法(cross-modal mapping and layer pruning)。Unified Vision ModelSegGPT [11] 将分割视为上下文着色而 Spider [10] 则将其扩展到统一上下文无关任务和医学任务。ViTAD [17] 和 MambaAD [7] 通过转换器和状态空间模型进一步提高了性能。Mixture-of-ExpertsMixture-of-Experts (MoE)MoE[18]利用稀疏激活的专家实现可扩展的条件计算。Sparsely-Gated MoE[19]针对每个输入激活一部分专家而SoftMoE[20]通过可微路由提高稳定性。DeepSeekMoE[21]通过共享专家提高参数效率。在视觉任务中V-MoE[22]将混合专家层嵌入到视觉任务ViT中。最近的研究[23, 24]采用自路由混合专家结构进行异常检测其中输入同时充当路由器和专家目标导致条件感知能力有限。3 Method3.1 General → Specific目的是做异常检测1预训练的生成器对输入数据生成um2模型通过预测 fgen 与每个 um 之间的残差。如果是正常样本则没事。如果是异常由此产生的偏差可作为异常检测的指标。3.2 General Multi-modal Encoder如图 3 所示1通用多模态编码器包含输入嵌入层、残差块和特征压缩模块 (FCM)。2输入嵌入层将所有输入填充到统一的通道维度 C支持任意模态组合RCin×H×W → RC×H×W。3三个残差块用于逐步提取多模态特征并结合模态间先验平均值来细化特征。4让特征更加“干净”FCM 采用分层瓶颈结构。内部多尺度瓶颈使用并行的 1×1、3×3 和 5×5 卷积来保留正常模式同时抑制尺度敏感的异常。外部瓶颈在更高的语义层级上执行更精细的压缩以进一步去除残留的异常激活。5最后残差块将压缩后的特征恢复到多尺度输出 fgen1 、 fgen 2 和 fgen 3 中从而得到纯化的通用特征。3.3 Cross Mixture-of-Experts目的C-MoE 将通用特征 fgen领域先验 um解压缩为领域特定特征 pm。C-MoE 没有依赖可能导致shortcut issues [6] 和高计算开销的交叉注意力机制cross attention而是采用了一种跨条件路由策略a crosscondition routing strategy。它基于先验选择隐式专家增强了条件感知能力并减少了跨模态和跨类别的干扰。该机制为后续的路由和专家设计模块奠定了基础。Condition Router.如图 4 所示特征被投影到key和value上先验信息被投影到query上。卷积层后接全局平均池化层生成全局统计信息 gm该统计信息封装了特定领域的上下文特征并有效抑制异常泄漏从而防止学习捷径。门控函数 G 生成前 K 个专家索引 I 和 logits并通过 softmax 进行归一化得到跨条件得分。为了鼓励均衡使用专家我们引入了退火负载均衡损失其中 e、E 和 L 分别表示 epoch 索引、总 epoch 数和特征图数量。变异系数 CV(·) 量化了门控输出分布的均匀性。该方案鼓励早期广泛激活专家并在后期稳定路由。Expert Design and Routing.C-MoE 采用两种类型的专家(1) 固定专家用于捕获共享知识并减少冗余(2) 通过 top-K 门控选择路由专家用于提供特定任务的能力。为了降低内存成本并避免专家不活跃我们构建了一个 MoE-in-MoE 结构。每个路由专家MoE-Leader都是共享基础专家 W ∈ RNexp×O×I×Ks×Ks 的加权组合其中 Nexp 是基础专家的数量O 和 I 分别代表输出通道和输入通道Ks 是卷积核大小。每个 MoE-Leader 仅存储用于选择基础专家的权重 S ∈ RNexp×O。给定路由索引 I最终的卷积核计算如下其中 S′ 是沿第一维进行 softmax 归一化的 S。这种设计能够有效地重用基础专家构建多样化的 MoE-Leader并提高参数效率。Inference Acceleration and Multi-scale Aggregation.推理加速和多尺度聚合。为了加速 C-MoE 推理我们引入了两项优化。(1) 预计算卷积核。在推理过程中MoE-in-MoE 缓存预加权卷积核 Wˆ从而避免了动态生成卷积核。(2) 分组动态滤波。对于 Kroute 激活的路由专家和一个固定专家其值被复制并将 [B (Kroute 1), Cval, · · · ] 重塑为 [B 1, (Kroute 1) × Cval, · · · ]其中 Cval 表示值的通道维度。设置 groups Kroute 1 会在单个组卷积中执行专家滤波从而实现并行动态滤波并通过消除串行处理来减少内存流量和延迟。滤波后的输出根据路由生成的专家分数进行加权和聚合。为了处理空间范围不同的对象C-MoE 进一步利用具有异质感受野的专家并通过聚合卷积融合他们的输出。3.4 Training and Inference训练。我们采用加权采样策略来平衡不同的训练任务其中每个任务的采样概率与每个类别的样本数量成反比。我们引入了解压缩一致性损失 LDeC 来强制解压缩后的单峰特征与其原始特征保持一致具体定义如下其中 ⊙ 表示逐元素乘法Hl 和 Wl 分别表示第 l 个特征图的高度和宽度。对于第 l 层坐标 (h,w) 处的第 m 个模态异常图 Am l 定义为领域特定先验 um l 与 C-MoE 中对应特征 pm l 之间的负余弦相似度。损失函数引入了类似于 Focal Loss [29] 的调制因子 γ以更加重视少数类其中 sg(·) 表示停止梯度操作。总体目标函数通过L LDeC LMoE进行端到端优化。(异常检测的)推理。该模型利用解压缩后的单峰特征与其原始特征之间的差异来定位异常具体如下其中Φ(·) 将异常图上采样到输入大小并使用 σ 4 的高斯核对其进行平滑处理如 [3] 中所述。图像级异常检测得分 SAD 计算为前 0.1% 异常定位得分的平均值。5 结论我们提出了UniMMAD一个专为多模态和多类别异常检测而设计的统一模型。它融合了“通用→特定”范式、通用多模态编码器和参数高效的C-MoE。在九个具有挑战性的基准数据集上的大量实验表明UniMMAD仅使用一组参数就超越了专用方法达到了新的最先进水平。此外UniMMAD为统一的多场景异常检测提供了一个强大的基准其高推理效率和持续学习能力凸显了其可扩展性和在实际部署中的实用性。