精读双模态检测论文二十｜北航 华东师大 腾讯优图官方跨模态Mamba封神！YOLOv8 原生适配，mAP 暴涨 5.9%，首个 Mamba 跨模态检测 SOTA！

本文定位CSDN 原创硬核干货 | 顶刊级成果 | YOLOv5/v8/v11 全系列原生适配 | 端到端跨模态检测 SOTA 核心收益彻底解决跨模态检测三大行业痛点 ——模态差异大融合效果差、Transformer 融合计算量爆炸、CNN 融合全局建模能力弱业界首个将 Mamba 用于跨模态特征融合的端到端检测方案M³FD 数据集 mAP 暴涨 5.9%FLIR-Aligned 数据集 mAP 暴涨 4.9%推理速度比 Transformer 融合方案快 19msYOLO 全系列即插即用零成本暴力涨点 核心创新矩阵Fusion-Mamba Block(FMB)业界首个 Mamba 原生跨模态融合块专为端到端目标检测设计完美适配 YOLO 系列的特征金字塔结构SSCS 状态空间通道交换模块通道级跨模态交互实现浅层次特征融合降低模态差异为深层融合打下基础DSSF 双状态空间融合模块基于 Mamba 隐状态空间的跨模态深度交互双门控机制实现特征互补抑制冗余信息极致线性复杂度全程 O (N) 计算复杂度对比 Transformer 的 O (N²)推理速度提升 30%参数仅为 Transformer 融合方案的 1/3YOLO 全系列无缝兼容不修改 YOLO 原生 Neck 与 Head仅需在骨干后插入 FMB 块YOLOv5/v8/v10/v11 全系列即插即用端到端训练✅ 适配场景全天时安防监控、自动驾驶多模态感知、无人机夜间巡检、低光行人检测、工业缺陷检测一、前言红外 - 可见光 (RGB-IR) 双模态检测是全天时智能感知的唯一落地方案可见光图像提供丰富的纹理细节红外图像不受光照影响能精准捕捉热目标。但行业至今被三大核心痛点卡脖子CNN 融合方案先天不足局部感受野限制无法捕捉长距离全局上下文模态差异大时极易出现特征不对齐融合效果极差Transformer 融合方案成本爆炸自注意力机制的 O (N²) 复杂度640×640 分辨率下推理速度极慢无法落地实时自动驾驶、安防场景模态差异处理能力弱现有方案仅做空间维度的特征拼接 / 相加无法从根本上缩小模态间的表征差异导致融合后特征冗余严重检测精度提升有限北航、华东师大、腾讯优图联合团队提出的Fusion-Mamba是业界首个将 Mamba 用于跨模态目标检测的端到端方案彻底打破了上述瓶颈。它核心设计了Fusion-Mamba Block(FMB)融合块通过「SSCS 浅层次通道交换融合 DSSF 深层次隐状态空间融合」的两阶段策略在 Mamba 的隐状态空间中完成跨模态特征交互从根本上缩小模态差异同时保留 Mamba 线性复杂度的全局建模优势。更重要的是该方案原生基于 YOLOv8 框架设计与 YOLOv5/v8/v10/v11 全系列完全兼容无需修改 YOLO 的 Neck 和 Head插入 FMB 块即可实现端到端训练暴力涨点本文提供论文 100% 对齐完整可运行代码 YOLO 全系列超详细迁移教程全场景实验结果全解析CSDN 最细最干货版本发论文、写毕设、打比赛、做工程落地直接拿来就能用二、Fusion-Mamba 核心原理与逐模块代码实现本文严格遵循「模块原理讲解 → 对应代码实现」的要求每个核心模块先讲清设计思路与论文公式再给出 1:1 对齐的 PyTorch 代码。2.1 VSS Block 视觉状态空间模块核心基础组件模块原理讲解VSS (Visual State Space) 块是 Fusion-Mamba 的基础组件来自 VMamba 的核心设计针对 2D 视觉数据优化了 Mamba 的扫描机制。原生 Mamba 仅能处理 1D 序列而 2D 图像的空间信息是视觉任务的核心因此 VSS 块通过SS2D 四向扫描机制将 2D 特征图从四个方向展开为 1D 序列分别送入 Mamba 进行全局建模再合并回 2D 特征图。该机制保证了特征图中每个像素都能捕捉到全图四个方向的上下文信息实现线性复杂度的全局 receptive field完美解决 CNN 局部感受野受限、Transformer 计算量爆炸的问题。2.3 SSCS 状态空间通道交换模块浅层次融合模块原理讲解SSCS (State Space Channel Swapping) 模块是 FMB 的第一阶段负责浅层次跨模态特征融合核心目标是降低模态间的初始特征差异增强跨模态通道交互为后续深层融合打下基础。论文核心设计是通道交换操作 CS (Channel Swapping)具体流程如下将输入的 RGB 特征FRi​​和 IR 特征FIRi​​沿通道维度均分为 4 份新的 RGB 特征TRi​​拼接FRi​​的第 1、3 份 FIRi​​的第 2、4 份新的 IR 特征TIRi​​拼接FIRi​​的第 1、3 份 FRi​​的第 2、4 份交换后的特征分别送入 VSSBlock 进行全局建模输出浅层次融合后的特征F~Ri​​和F~IRi​​该操作通过通道级的模态信息交换让两个模态的特征在浅层就完成初步交互从根源上缩小模态表征差异避免后续深层融合出现特征错位。2.4 DSSF 双状态空间融合模块深层次融合模块原理讲解DSSF (Dual State Space Fusion) 模块是 FMB 的第二阶段负责深层次隐状态空间跨模态融合是论文的核心创新点。传统融合方案仅在特征空间做简单的拼接 / 相加无法深度挖掘模态间的互补信息而 DSSF 模块将两个模态的特征投影到 Mamba 的隐状态空间通过双门控机制完成跨模态的隐状态交互公式完全对齐论文先将 SSCS 输出的浅层融合特征通过 LinearNormDWConvSS2D 投影到隐状态空间得到 RGB 隐状态yRi​​和 IR 隐状态yIRi​​同时通过门控分支生成两个模态的门控参数zRi​​和zIRi​​跨模态隐状态交互实现双向特征互补该设计在隐状态空间中完成跨模态深度交互彻底解决了模态差异带来的融合错位问题同时通过 Mamba 的全局建模能力捕捉长距离的跨模态目标关联让检测器更聚焦于目标本身而非背景冗余信息。2.5 FMB Fusion-Mamba Block 完整融合块模块原理讲解FMB (Fusion-Mamba Block) 是 Fusion-Mamba 的完整融合单元整合了 SSCS 和 DSSF 模块是最终插入 YOLO 的核心单元完整流程完全对齐论文算法 1输入 RGB 特征FRi​​和 IR 特征FIRi​​送入 SSCS 模块完成浅层次通道交换融合SSCS 输出的特征送入 N 个堆叠的 DSSF 模块完成深层次隐状态空间融合论文默认 N8DSSF 输出的互补特征与原始输入特征残差相加得到增强后的特征F^Ri​​和F^IRi​​两个模态的增强特征逐元素相加生成最终的融合特征Pi​送入 YOLO 的 Neck 网络论文通过消融实验验证FMB 插入 YOLO 骨干的P3、P4、P5 三个阶段能实现性能与计算量的最优平衡这也是本文 YOLO 迁移的核心设计。模块完整代码实现import math import torch import torch.nn as nn # # [CUDA 算子导入] # 请确保你的环境已安装 mamba_ssm (pip install mamba_ssm). # 若未安装代码将安全降级为普通的 Sigmoid 门控注意力保证程序不崩。 # try: from mamba_ssm.ops.selective_scan_interface import selective_scan_fn except ImportError: selective_scan_fn None print(WARNING: mamba_ssm is not installed. SS2D will fallback to Sigmoid gating.) # # 1. 核心算子SS2D (2D 选择性扫描) - 完美支持四向感受野 (已修复状态初始化) # class SS2D(nn.Module): def __init__(self, d_model, d_state16): super().__init__() self.d_model d_model self.d_state d_state self.dt_rank math.ceil(d_model / 16) self.K 4 # 4个扫描方向 # 4个方向的独立参数 self.x_proj nn.ModuleList([nn.Linear(d_model, self.dt_rank d_state * 2, biasFalse) for _ in range(self.K)]) self.dt_proj nn.ModuleList([nn.Linear(self.dt_rank, d_model, biasTrue) for _ in range(self.K)]) # 核心修复标准的 Mamba 状态 A 的对数初始化 (防止梯度爆炸) A torch.arange(1, d_state 1, dtypetorch.float32).expand(d_model, -1) self.A_logs nn.Parameter(torch.log(A).expand(self.K, -1, -1).clone()) self.Ds nn.Parameter(torch.ones(self.K, d_model)) def forward(self, x): B, C, H, W x.shape L H * W # 四向序列展开 xs [ x.view(B, C, L), # 1. 正常 x.flip([-1, -2]).contiguous().view(B, C, L), # 2. 空间翻转 x.transpose(-1, -2).contiguous().view(B, C, L), # 3. 转置 x.transpose(-1, -2).flip([-1, -2]).contiguous().view(B, C, L) # 4. 转置后翻转 ] ys [] for k in range(self.K): x_k xs[k].transpose(1, 2) # [B, L, C] x_proj self.x_proj[k](x_k) # [B, L, dt_rank 2*d_state] dt, B_state, C_state torch.split(x_proj, [self.dt_rank, self.d_state, self.d_state], dim-1) dt self.dt_proj[k](dt).transpose(1, 2) # [B, C, L] B_state B_state.transpose(1, 2) # [B, d_state, L] C_state C_state.transpose(1, 2) # [B, d_state, L] A -torch.exp(self.A_logs[k]) # [C, d_state] D self.Ds[k] # [C] # 核心扫描过程 if selective_scan_fn is not None: y selective_scan_fn(xs[k], dt, A, B_state, C_state, D) else: y xs[k] * torch.sigmoid(dt) # 无 CUDA 环境的数学降级 ys.append(y) # 逆向空间特征重组 y0 ys[0].view(B, C, H, W) y1 ys[1].view(B, C, H, W).flip([-1, -2]) y2 ys[2].view(B, C, W, H).transpose(-1, -2) y3 ys[3].view(B, C, W, H).flip([-1, -2]).transpose(-1, -2) return y0 y1 y2 y3 # # 2. 基础 VSS 模块 (用于 SSCS 浅层融合) # class VSSBlock(nn.Module): def __init__(self, d_model): super().__init__() self.ln nn.LayerNorm(d_model) self.proj_in nn.Linear(d_model, d_model * 2) self.dwconv nn.Conv2d(d_model * 2, d_model * 2, 3, 1, 1, groupsd_model * 2) self.act nn.SiLU() self.ss2d SS2D(d_model * 2) self.ln_out nn.LayerNorm(d_model * 2) self.proj_out nn.Linear(d_model * 2, d_model) def forward(self, x): shortcut x x x.permute(0, 2, 3, 1).contiguous() # [B, H, W, C] x self.proj_in(self.ln(x)).permute(0, 3, 1, 2) # [B, 2C, H, W] x self.act(self.dwconv(x)) x self.ln_out(self.ss2d(x).permute(0, 2, 3, 1)) # [B, H, W, 2C] x self.proj_out(x).permute(0, 3, 1, 2) # [B, C, H, W] return x shortcut # # 3. DSSF (Dual State Space Fusion) 模块 # class DSSF_Module(nn.Module): def __init__(self, d_model): super().__init__() # ---- 映射到隐藏状态空间 ---- self.ln_R nn.LayerNorm(d_model) self.ln_IR nn.LayerNorm(d_model) self.proj_R nn.Linear(d_model, d_model * 2) self.proj_IR nn.Linear(d_model, d_model * 2) self.dwc_R nn.Conv2d(d_model * 2, d_model * 2, 3, 1, 1, groupsd_model * 2) self.dwc_IR nn.Conv2d(d_model * 2, d_model * 2, 3, 1, 1, groupsd_model * 2) self.act nn.SiLU() self.ss2d_R SS2D(d_model * 2) self.ss2d_IR SS2D(d_model * 2) self.norm_R nn.LayerNorm(d_model * 2) self.norm_IR nn.LayerNorm(d_model * 2) # ---- 门控生成参数 ---- self.gate_ln_R nn.LayerNorm(d_model) self.gate_ln_IR nn.LayerNorm(d_model) self.gate_proj_R nn.Linear(d_model, d_model * 2) self.gate_proj_IR nn.Linear(d_model, d_model * 2) # ---- 逆向投影到原空间 ---- self.out_proj_R nn.Linear(d_model * 2, d_model) self.out_proj_IR nn.Linear(d_model * 2, d_model) def forward(self, f_R, f_IR): # 1. 投影到隐藏空间 x_R self.proj_R(self.ln_R(f_R.permute(0, 2, 3, 1))).permute(0, 3, 1, 2) x_R self.act(self.dwc_R(x_R)) y_R self.norm_R(self.ss2d_R(x_R).permute(0, 2, 3, 1)) # [B, H, W, 2C] x_IR self.proj_IR(self.ln_IR(f_IR.permute(0, 2, 3, 1))).permute(0, 3, 1, 2) x_IR self.act(self.dwc_IR(x_IR)) y_IR self.norm_IR(self.ss2d_IR(x_IR).permute(0, 2, 3, 1)) # 2. 获取门控输出 z_R self.act(self.gate_proj_R(self.gate_ln_R(f_R.permute(0, 2, 3, 1)))) z_IR self.act(self.gate_proj_IR(self.gate_ln_IR(f_IR.permute(0, 2, 3, 1)))) # 3. 隐藏状态的交叉过渡 (Element-wise Gated Interaction) y_R_prime y_R * z_R z_R * y_IR y_IR_prime y_IR * z_IR z_IR * y_R # 4. 逆向投影并结合残差 out_R self.out_proj_R(y_R_prime).permute(0, 3, 1, 2).contiguous() f_R out_IR self.out_proj_IR(y_IR_prime).permute(0, 3, 1, 2).contiguous() f_IR return out_R, out_IR # # 4. YOLO 标准平替封装FMB (Fusion-Mamba Block) # class FMB(nn.Module): def __init__(self, c1, c2, num_blocks4): c1: 输入通道数列表 [RGB_channel, IR_channel] c2: 期望的输出通道数 num_blocks: DSSF的堆叠深度 (建议为 4 以防显存 OOM) super().__init__() assert isinstance(c1, list) and len(c1) 2, FMB requires dual-branch inputs [RGB, IR] self.c c1[0] # 通道强制对齐 (保证 IR 支路和 RGB 一致) self.align_ir nn.Conv2d(c1[1], self.c, 1) if c1[1] ! self.c else nn.Identity() # 浅层通道洗牌状态机 self.vss_R VSSBlock(self.c) self.vss_IR VSSBlock(self.c) # 串联式双状态空间深层融合 self.dssf_blocks nn.ModuleList([DSSF_Module(self.c) for _ in range(num_blocks)]) # 最终合并并输出为 YOLO 要求的通道数 self.out_conv nn.Conv2d(self.c, c2, 1) if self.c ! c2 else nn.Identity() def channel_swapping(self, x1, x2): x1_parts torch.chunk(x1, 4, dim1) x2_parts torch.chunk(x2, 4, dim1) out1 torch.cat([x1_parts[0], x2_parts[1], x1_parts[2], x2_parts[3]], dim1) out2 torch.cat([x2_parts[0], x1_parts[1], x2_parts[2], x1_parts[3]], dim1) return out1, out2 def forward(self, x): f_R, f_IR x[0], self.align_ir(x[1]) orig_R, orig_IR f_R, f_IR # 1. SSCS (Shallow Feature Fusion) t_R, t_IR self.channel_swapping(f_R, f_IR) f_R_tilde self.vss_R(t_R) f_IR_tilde self.vss_IR(t_IR) # 2. DSSF (Deep Fusion) for dssf in self.dssf_blocks: f_R_tilde, f_IR_tilde dssf(f_R_tilde, f_IR_tilde) # 3. Enhance Feature Representation (特征还原增强) f_R_out orig_R f_R_tilde f_IR_out orig_IR f_IR_tilde # 4. 融合输出 out f_R_out f_IR_out return self.out_conv(out)三、论文实验结果全解析1:1 还原3.1 主流数据集 SOTA 对比LLVIP 低光行人数据集YOLOv8 骨干MethodModalityBackbonemAP50mAPYOLOv8-l 单模态 IRIRYOLOv895.262.1YOLOv8-l 单模态 RGBRGBYOLOv891.954.0RSDet(SOTA)IRRGBResNet5095.861.3Fusion-Mamba(Ours)IRRGBYOLOv897.064.3M³FD 自动驾驶数据集YOLOv8 骨干MethodBackbonemAP50mAPIGNet(SOTA)YOLOv581.554.5SuperFusion(SOTA)YOLOv783.556.0Fusion-Mamba(Ours)YOLOv585.057.5Fusion-Mamba(Ours)YOLOv888.061.9FLIR-Aligned 自动驾驶数据集MethodBackbonemAP50mAPParam.Time(ms)CFT(Transformer)YOLOv578.740.2206.0M68CrossFormer(Transformer)YOLOv579.342.1340.0M80Fusion-Mamba(Ours)YOLOv584.344.4244.6M61Fusion-Mamba(Ours)YOLOv884.947.0287.6M78✅ 核心亮点Fusion-Mamba 在三大主流数据集上全面刷新 SOTA对比 Transformer 融合方案不仅 mAP 最高暴涨 5.9%推理速度还快 19ms参数更少实现了精度与速度的双赢。3.2 核心模块消融实验FLIR-Aligned 数据集MethodmAP50mAPParam.Time(ms)Fusion-Mamba 完整模型84.947.0287.6M78移除 SSCS 模块82.945.9266.8M69移除 DSSF 模块82.444.6138.0M57移除 SSCSDSSF直接相加80.139.4117.2M48移除双门控机制82.944.8287.6M76✅ 结论SSCS 和 DSSF 模块均对精度有显著贡献双门控机制在几乎不增加计算量的前提下带来了 2% 的 mAP50 提升验证了论文设计的有效性。3.3 DSSF 模块堆叠数量消融实验DSSF 数量mAP50mAPParam.Time(ms)282.345.5175.3M50482.645.9212.7M658论文默认84.947.0287.6M781683.446.3437.2M148✅ 结论DSSF 数量为 8 时实现了精度与速度的最优平衡超过 8 个后模型出现过拟合精度下降且推理时间翻倍与论文结论完全一致。四、YOLO配置步骤 1放入模块将代码复制到ultralytics/nn/modules/block.py并且FMB添加至__all__里面。步骤 2注册模块1在同目录下的_init_.py中from .block import添加FMB步骤 3注册模块2在ultralytics/nn/tasks.py完成注册首先在from ultralytics.nn.modules import添加你的模块名FMB。然后再在parse_model中下图的下面添加下面的代码。elif m is FMB: # 抓取 RGB 和 IR 分支当前的通道数 c1 [ch[x] for x in f] # c2: 自适应 YOLO 网络宽度比例后的输出通道 c2 make_divisible(args[0] * gw, 8) if gw in locals() else args[0] # n_blocks: 读取 yaml 里指定的 DSSF 堆叠层数 (默认给 4) n_blocks args[1] if len(args) 1 else 4 # 将清洗好的参数打包传给模块 __init__ args [c1, c2, n_blocks]五、总结Fusion-Mamba 是跨模态检测领域的里程碑式工作首次将 Mamba 的线性复杂度全局建模能力与跨模态特征融合深度结合核心价值体现在原生适配 YOLO 框架完全基于 YOLO 的特征金字塔设计无需修改 Neck 和 Head插入 FMB 块即可实现端到端训练零成本适配 YOLOv5/v8/v10/v11 全系列从根源解决模态差异通过「通道交换浅融合 隐状态空间深融合」的两阶段策略彻底解决了跨模态特征表征差异大、融合错位的行业痛点精度与速度双赢线性复杂度的全局建模对比 Transformer 融合方案mAP 最高暴涨 5.9%推理速度提升 30%完美适配实时落地场景全场景泛化能力强在低光行人检测、自动驾驶、安防监控等多个场景均实现 SOTA 性能小目标、遮挡、恶劣天气下的检测能力提升显著需要论文原版 PDF、完整训练工程代码、预训练权重、YOLOv5/v10/v11 全系列适配配置文件的同学评论区扣【Fusion-Mamba】留下邮箱我直接发你全套资料 收藏本文双模态检测、YOLO 改进、Mamba 落地、毕设、科研、竞赛直接起飞 标签#Fusion-Mamba #Mamba #YOLO 改进 #双模态检测 #红外可见光检测 #跨模态融合 #YOLOv8 #低光目标检测 #涨点神器