从CenterNet到DLA-34：手把手教你理解并复现这个CVPR 2018的骨干网络

从CenterNet到DLA-34深度解析树状聚合网络的工程实现在目标检测领域骨干网络的选择往往决定了模型性能的上限。当我们在CenterNet的论文和代码中看到DLA-34这个骨干网络时不禁会被其独特的树状结构设计所吸引。与常见的ResNet、VGG等链式结构不同DLA-34通过层级聚合机制实现了特征的高效融合这正是它在保持轻量化的同时仍能提供丰富语义表示的关键所在。1. DLA网络架构的核心思想1.1 从传统网络到层级聚合传统卷积神经网络如ResNet通过残差连接缓解了梯度消失问题但其特征聚合方式仍然是线性的。DLA提出的深度层级聚合(Deep Layer Aggregation)则打破了这一局限通过树状结构实现了跨层级的特征融合。这种设计带来了三个显著优势多尺度特征保留浅层的空间信息与深层的语义信息得以有机结合梯度传播优化树状结构创造了更多反向传播路径参数效率提升相同的感受野可以用更少的参数实现1.2 IDA与HDA的协同作用DLA架构包含两种关键聚合方式# 迭代深度聚合(IDA)示例 class IDA(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv nn.Conv2d(in_channels, out_channels, kernel_size1) def forward(self, *features): return sum(self.conv(f) for f in features)与IDA专注于不同分辨率的特征融合不同层次深度聚合(HDA)构建了更复杂的树状连接模式。下表对比了两种机制特性IDAHDA连接模式链式树状信息流动单向多向适用场景同stage内特征融合跨stage特征融合计算复杂度低中等2. DLA-34的模块化实现2.1 基础构建块解析DLA-34的基础残差块延续了ResNet的设计理念但在实现上有细微差别class BasicBlock(nn.Module): def __init__(self, inplanes, planes, stride1): super().__init__() self.conv1 nn.Conv2d(inplanes, planes, kernel_size3, stridestride, padding1, biasFalse) self.bn1 nn.BatchNorm2d(planes) self.relu nn.ReLU(inplaceTrue) self.conv2 nn.Conv2d(planes, planes, kernel_size3, stride1, padding1, biasFalse) self.bn2 nn.BatchNorm2d(planes) def forward(self, x, residualNone): if residual is None: residual x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out residual out self.relu(out) return out关键改进点包括残差连接变为可选参数去除了下采样时的1x1卷积投影所有卷积层都保持3x3核大小2.2 树状结构的递归实现DLA最精妙的部分在于其Tree模块的递归定义class Tree(nn.Module): def __init__(self, levels, block, in_channels, out_channels, stride1): super().__init__() if levels 1: self.tree1 block(in_channels, out_channels, stride) self.tree2 block(out_channels, out_channels, 1) else: self.tree1 Tree(levels-1, block, in_channels, out_channels, stride) self.tree2 Tree(levels-1, block, out_channels, out_channels) self.root Root(2*out_channels, out_channels) if levels 1 else None这种递归实现使得网络可以灵活地构建不同深度的树状结构。当levels1时它构建一个简单的两分支结构当levels1时它会递归地构建更深的树。3. 从论文到实践的完整实现3.1 DLA-34的整体架构完整的DLA-34实现包含六个stagedef dla34(pretrainedFalse): model DLA( levels[1, 1, 2, 2, 1], # 各stage的树深度 channels[16, 32, 64, 128, 256, 512], # 各stage通道数 blockBasicBlock ) if pretrained: load_pretrained(model, dla34) return model各stage的配置参数如下表所示Stage输入尺寸输出通道树深度包含模块0224x224161基础卷积层1224x224321简单卷积堆叠2112x112642两层级树状结构356x561282两层级树状结构428x282561单层级树状结构514x145121单层级树状结构3.2 Root节点的关键作用Root模块负责聚合来自不同路径的特征class Root(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv nn.Conv2d( in_channels, out_channels, kernel_size1, stride1, biasFalse) self.bn nn.BatchNorm2d(out_channels) def forward(self, *inputs): concat torch.cat(inputs, dim1) out self.conv(concat) out self.bn(out) return outRoot节点的设计特点使用1x1卷积进行通道数调整输入是所有子树的输出拼接不包含残差连接与原始论文略有不同保持特征图空间尺寸不变4. 在目标检测中的实际应用4.1 与CenterNet的集成当DLA-34作为CenterNet的骨干网络时需要进行以下适配去除分类头移除最后的全局平均池化和全连接层多尺度特征提取保留stage2-stage5的输出作为特征金字塔上采样模块添加反卷积层统一特征图分辨率典型集成代码如下class DLAWrapper(nn.Module): def __init__(self): super().__init__() self.base dla34(pretrainedTrue) self.deconv_layers nn.Sequential( nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue) ) def forward(self, x): features self.base(x) # 假设我们只需要最后三个stage的特征 selected [features[i] for i in [2,3,4]] # 上采样到统一尺寸 upsampled self.deconv_layers(selected[-1]) return selected [upsampled]4.2 性能优化技巧在实际部署中我们发现以下几个优化点能显著提升DLA-34的效率通道剪枝对stage4和stage5的通道数进行适当缩减深度可分离卷积在Root节点使用depthwise卷积量化感知训练为后续的INT8量化做准备优化前后的对比如下优化措施推理速度(FPS)↑内存占用(MB)↓mAP变化基线模型32120034.2通道剪枝(30%)41 (28%)860 (-28%)33.8 (-0.4)Depthwise Root45 (40%)790 (-34%)33.5 (-0.7)INT8量化68 (112%)420 (-65%)32.1 (-2.1)在部署DLA-34时建议先验证模型在目标硬件上的实际表现。我们发现不同硬件平台对树状结构的优化程度差异很大在英伟达GPU上通常能获得比移动端芯片更好的加速比。