PointPillars 架构详解

PointPillars 是自动驾驶 3D 目标检测领域里一篇里程碑式的工作发表于 CVPR 2019作者来自 nuTonomy。它的核心贡献是提出了一种极其简洁但高效的点云编码方式在 KITTI benchmark 上以 62Hz 的推理速度打败了当时所有方法包括同时使用激光雷达和摄像头的融合方法。一为什么要有 Pillar而不是 Voxel要理解 PointPillars先要理解它在解决什么问题。LiDAR 产生的点云是一堆三维空间中的点每个点带有 (x,y,z) 坐标和反射强度 r。这份数据有两个根本性的特点极度稀疏以及无序。在 PointPillars 之前VoxelNet 是最有代表性的端对端方法把三维空间划分成均匀的体素voxel格子对每个体素内的点用 PointNet 提特征然后用 3D 卷积来聚合垂直方向的信息最后接 2D backbone 和检测头。这个思路没问题但 3D 卷积极其昂贵VoxelNet 只能跑到 4.4Hz完全不满足自动驾驶的实时要求。SECOND 改进了 VoxelNet用稀疏卷积替代了部分 3D 卷积跑到了 20Hz但瓶颈仍然是 3D 卷积。PointPillars 的出发点是z 轴方向的信息是否 3D 卷积来处理。回答是不需要。把空间在 x-y 平面划分成二维格子每个格子在 z 轴方向无限延伸形成一根柱子Pillar。柱子内的所有点不管它们的 z 坐标如何都用同一套 PointNet 来提特征。PointNet 本身就是排列不变的天然能处理无序点集。提完特征之后每根柱子输出一个向量所有柱子向量铺回到 x-y 平面形成一张伪图像Pseudo-image——这是一张普通的二维特征图可以直接送进任何 2D CNN。这样做的好处显而易见整个网络只有 2D 卷积没有任何 3D 卷积。GPU 对 2D 卷积的优化已经极度成熟推理速度自然大幅提升。代价是显式地丢弃了 z 轴方向的空间结构信息。但论文通过实验证明这个代价是值得的——在 KITTI 上精度反而更高速度高出 3 倍以上。二Pillar Feature Network——点云变伪图像2.1 点从 4 维到 9 维原始 LiDAR 点云里每个点是 (x, y, z, r) 四维的其中 r 是反射强度reflectance。PointPillars 在把点喂进网络之前会给每个点额外附加 5 个维度的信息把点从 4 维装饰成 9 维。论文把这一步叫做Point Decoration。这 9 个维度是前四个 (x, y, z, r) 是原始点的坐标和反射强度后五个是额外添加的该点与其所在 Pillar 内所有点的算术均值质心之间的偏移量。形式上若 Pillar 内有 n 个点质心是所有点坐标的均值则以此类推。该点与其所在 Pillar 的x-y 中心即格子中心点之间的偏移量。注意这里只有 x 和 y 两个方向没有 z因为 Pillar 在 z 方向是无限延伸的没有 z 方向的中心概念。为什么要加这 5 个维度告诉网络这个点在 Pillar 内部的相对位置——它是靠近质心还是处于边缘这对于学习局部几何形状至关重要类似于 PointNet 里的局部坐标系。告诉网络这个点相对于 Pillar 中心的位置帮助网络隐式地恢复精确的绝对空间位置——因为后续 Scatter 步骤会丢失 Pillar 内部的精细位置信息这两个维度是一种补偿机制。2.2 稀疏性的利用(D, P, N) Tensor 的构建Pillar 的划分大概会产生数万个格子以 KITTI 车辆检测范围 x: [0, 70.4]m, y: [-40, 40]m 和 0.16m 的格子大小为例一共有个格子但其中绝大多数是空的——论文指出稀疏度约为 97%真正有点的 Pillar 只有 6000 到 9000 个。如果对全部 22 万个格子都建 Tensor内存和计算量都极大。PointPillars 的做法是只处理非空 Pillar通过两个超参数来固定 Tensor 的尺寸P每帧点云最多处理多少个非空 Pillar默认值 P12000N每个 Pillar 里最多放多少个点默认值 N100这样就能构建一个形状固定的密集 Tensor其中 D9。构建规则如下如果一个非空 Pillar 内的点数 N对不足的位置用全零填充zero padding如果点数 N随机采样N 个点丢弃其余的如果非空 Pillar 总数 P对不足的位置继续用全零填充如果非空 Pillar 总数 P随机丢弃部分非空 Pillar同时系统会记录每个非空 Pillar 对应的二维网格坐标即这个 Pillar 在 x-y 画布上的位置索引。这个索引被称为Pillar Index后续 Scatter 步骤要用到它。2.3 简化版 PointNet拿到 (9, 12000, 100) 的 Tensor 之后需要对每个点做特征提取。论文用的是一个简化版 PointNet只有一层线性变换 BatchNorm ReLU没有 PointNet 原版中的那些 T-Net变换网络。操作流程是Linear 层对每个点施加一个权重矩阵C64把每个点从 D9 维映射到 C64 维1×1 卷积实现论文特别指出这个线性变换可以等价地用 1×1 卷积来实现。把 Tensor 的维度排列成 (D, P, N) (9, 12000, 100)可以把个点视作一张的特征图每个像素有 D9 个通道。1×1 卷积在每个像素位置独立地做的映射没有空间交互——这和对每个点独立做线性变换是完全等价的但利用了 GPU 对卷积操作的高度优化比显式的矩阵乘法更快。经过 Linear BN ReLU 之后Tensor 从 (9, P, N) 变成了 (C, P, N) (64, 12000, 100)Channel-wise Max Pooling对每个 Pillar 内的 N100 个点沿 N 这个维度取最大值Max Pool over points把每个 Pillar 从 N 个特征向量压缩成 1 个特征向量经过 MaxPool2.4 Scatter把稀疏特征铺回密集画布现在有了 (64, 12000) 的 Pillar 特征以及 (12000, 2) 的 Pillar Index记录每个 Pillar 对应画布上的哪个位置。Scatter 步骤就是把这些稀疏的 Pillar 特征按照各自的索引放回到对应的画布位置没有 Pillar 的位置填零。输出是一张形状为 (C, H, W) (64, H, W) 的伪图像其中 H 和 W 是画布的高度和宽度。以 KITTI 车辆检测为例x 范围 [0, 70.4]m步长 0.16mW 70.4 / 0.16 440y 范围 [-40, 40]m步长 0.16mH 80 / 0.16 500所以 Pseudo-image 的形状是 (64, 500, 440)。Scatter 的实现细节在代码层面Scatter 的实现非常简洁本质上是一个 index_put 操作# pillar_features: (C, P) (64, 12000) # pillar_indices: (P, 2) (12000, 2) ← 每行是 (y_idx, x_idx) # canvas: (C, H, W) 初始化为全零 # 把 P 个 pillar 的特征向量放到 canvas 对应位置 # 等价于 for p in range(P): y_idx pillar_indices[p, 0] x_idx pillar_indices[p, 1] canvas[:, y_idx, x_idx] pillar_features[:, p]实际实现用向量化的 scatter 操作完成不需要循环# 展平 canvas 的空间维度利用 pillar 的线性索引 # indices y_idx * W x_idx ← 把 (y, x) 合并成一维线性索引 canvas canvas.reshape(C, H * W) indices y_indices * W x_indices # (P,) canvas[:, indices] pillar_features # (C, P) canvas canvas.reshape(C, H, W)三Backbone——从伪图像提取多尺度特征拿到 (64, H, W) 的伪图像之后就可以用标准的 2D CNN 了。PointPillars 的 backbone 设计和 VoxelNet 相同是一个先下采样、再上采样拼接的结构和 FPNFeature Pyramid Network思路一脉相承。3.1 Top-Down 网络三个 Block 逐步下采样Backbone 的第一部分是一个自顶向下从高分辨率到低分辨率的特征提取网络由三个 Block 串联组成。论文把每个 Block 记为其中S这个 Block 相对于原始伪图像的stride步长L这个 Block 内部堆叠的 3×3 卷积层数量F这个 Block 的输出通道数以汽车检测网络为例C64S2Block1(S2, L4, C64)输入: (64, 500, 440) ← 伪图像stride1第一层 3×3 convstride2下采样后续 3 层 3×3 convstride1每层都有 BN ReLU输出: (64, 250, 220) ← stride2 相对于原始图Block2(S4, L6, 2C128)输入: (64, 250, 220) ← stride2第一层 3×3 convstride2再次下采样后续 5 层 3×3 convstride1每层都有 BN ReLU输出: (128, 125, 110) ← stride4 相对于原始图Block3(S8, L6, 4C256)输入: (128, 125, 110) ← stride4第一层 3×3 convstride2再次下采样后续 5 层 3×3 convstride1每层都有 BN ReLU输出: (256, 63, 55) ← stride8 相对于原始图注意每个 Block 内部的第一层卷积步长是当前 stride 除以输入 stride其余层步长均为 1。这是为了保证整个 Block 在原始伪图像上的有效 stride 恰好是 S。3.2 Upsampling 网络三个 Up 上采样并拼接三个 Block 产生了三个不同分辨率的特征图。为了融合多尺度信息论文对每个 Block 的输出做上采样统一到相同分辨率然后拼接。上采样模块记为使用转置卷积transposed convolution实现其中输入特征图的 stride输出特征图的 stride输出通道数论文设定三个上采样模块的输出通道数均为 2C 128Up1(S_in2, S_out2, 2C128)输入: Block1 输出 (64, 250, 220)转置卷积upscale factor1实际上是步长为1的convBN ReLU输出: (128, 250, 220) ← 保持 stride2Up2(S_in4, S_out2, 2C128)输入: Block2 输出 (128, 125, 110)转置卷积upscale factor2BN ReLU输出: (128, 250, 220) ← 从 stride4 上采样回 stride2Up3(S_in8, S_out2, 2C128)输入: Block3 输出 (256, 63, 55)转置卷积upscale factor4BN ReLU输出: (128, 250, 220) ← 从 stride8 上采样回 stride2三个 Up 模块的输出形状全部统一为 (128, 250, 220)然后沿通道维度拼接concatcat([Up1, Up2, Up3], dim0)输出: (128128128, 250, 220) (384, 250, 220) (6C, H/2, W/2)这个 (6C, H/2, W/2) (384, 250, 220) 的特征图就是送给检测头的最终特征。一个原论文没有明确说清楚的细节Up1 的上采样倍数实际上是 1它并没有改变空间分辨率只是做了一个通道变换64 → 128。真正做上采样的是 Up2×2和 Up3×4。这个细节从论文的符号定义可以推断但论文没有显式说明容易让读者以为三个 Up 模块都在扩大分辨率。四SSD 检测头——从特征图到 3D 框拿到 (384, H/2, W/2) 的特征图之后检测头需要输出每个 Anchor 的类别概率和边界框回归量。4.1 Anchor 的设计PointPillars 直接使用 SSD 的 Anchor 机制但做了 3D 化的适配。在 2D SSD 里Anchor 是一个矩形框在 PointPillars 里Anchor 是一个预定义的 3D 长方体由七个量描述(x, y, z)Anchor 的中心坐标(w, l, h)宽度、长度、高度偏航角yaw angle绕 z 轴的旋转角每个类别的 Anchor 尺寸是预设的来自该类别物体的平均尺寸每种尺寸在每个位置放两个分别对应和两个朝向。Anchor 匹配是用2D IoU在 BEV 俯视图上忽略高度来做的而不是 3D IoU。这意味着 z高度位置和 h高度尺寸不参与 Anchor 匹配而是作为额外的回归目标。这样做有两个好处2D IoU 计算比 3D IoU 快很多LiDAR 在 z 方向的测量本来就更准确模型可以直接回归而不依赖先验以汽车检测为例检测范围伪图像尺寸特征图经过 backbone stride2 下采样为。在这张特征图的每个位置放 2 个 Anchor0° 和 90°总共个 Anchor。Anchor 的正负匹配规则正样本2D IoU 最高的 Anchor或IoU 超过正样本阈值的 Anchor负样本IoU 低于负样本阈值的 Anchor忽略介于正负阈值之间的 Anchor不参与损失计算4.2 检测头的输出结构检测头是一个简单的 1×1 卷积直接在 (384, H/2, W/2) 的特征图上预测每个位置每个 Anchor 的输出。每个 Anchor 需要预测类别概率个对于汽车单类对于行人骑行者边界框回归量7 个对应方向分类2 个这是 SoftMax 二分类后面详解检测头的输出通道数以汽车检测每位置 2 个 Anchor单类别为例cls 头输出 1×1 conv → (2×1, H/2, W/2) (2, 250, 220)reg 头输出 1×1 conv → (2×7, H/2, W/2) (14, 250, 220)dir 头输出 1×1 conv → (2×2, H/2, W/2) (4, 250, 220)五LossPointPillars 的损失函数来自 SECOND论文本身写得比较简略。我们来逐条把细节讲清楚。5.1 边界框的回归编码方式真实框 GT 和 Anchor 都用表示。回归目标不是直接预测 GT 的绝对坐标而是预测GT 和 Anchor 之间的残差。其中是 Anchor 在俯视图上的对角线长度用于归一化和。角度的 sin 编码——以及论文里一个隐藏的问题这个编码方式乍看很合理用 sin 函数把角度差映射到 [-1, 1] 之间易于回归。但这里有一个被很多人忽视的细节sin 函数无法区分相差的两个角度因为所以和会产生相同的值。这意味着网络只预测这一个量无法区分车头朝前和车头朝后。这正是论文中单独引入方向分类损失的原因——用一个二分类来补偿 sin 编码丢失的方向信息。更进一步PointPillars 源码的一个实现中存在一个关于角度损失的重大缺陷原论文写的是但在计算回归损失时正确的做法来自 SECOND应该是用来作为损失即把 sin 函数应用在预测值和目标值的差上而非直接把作为目标然后让网络直接用 L1 回归这个 sin 值。具体来说正确的角度损失应该是而不是简单地两者的区别在于前者在预测和目标都接近时仍然能正确传播梯度后者会因为 sin 函数的非线性而产生梯度饱和。一些开源实现里存在这个 bug导致角度回归性能下降。正确的写法# sin(a - b) sin(a)*cos(b) - cos(a)*sin(b) bbox_pred[:, -1] ( torch.sin(bbox_pred[:, -1].clone()) * torch.cos(batched_bbox_reg[:, -1].clone()) ) batched_bbox_reg[:, -1] ( torch.cos(bbox_pred[:, -1].clone()) * torch.sin(batched_bbox_reg[:, -1].clone()) )这个展开利用了 sin 差角公式把展开成这样就不需要在计算图中出现这个操作避免了直接减法带来的梯度问题。5.2 方向分类损失如上所述无法区分相差 $\pi$ 的两个方向。网络单凭这一个回归量判断出的是车的轴向车体朝哪个轴但无法判断车头朝哪边。方向分类损失是一个 softmax 二分类把方向离散化为两个 binbin 0角度在范围内即车头朝正向bin 1角度在范围内即车头朝反向在推理时先用角度回归量恢复出取再用方向分类结果决定是否翻转加来还原最终朝向。这样的设计把一个难以直接回归的连续角度问题分解成回归小范围偏移 分类大方向两个子问题各自的优化都更容易。5.3 类别分类损失Focal Loss分类损失使用Focal Loss其中是某个 Anchor 被分类为正样本的概率。Focal Loss 的引入是因为 Anchor-based 方法面临严重的正负样本不均衡问题110,000 个 Anchor 里真正对应目标物体正样本的可能只有几十个绝大多数都是背景负样本。如果用普通交叉熵负样本的损失会淹没正样本的损失训练极不稳定。Focal Loss 通过这个因子让置信度高的简单样本容易判断的背景即但已经快收敛所以梯度权重可以稍小贡献更小的损失权重让困难样本分类边界上的样本贡献更大权重从而把优化资源集中在真正有挑战性的样本上。5.4 总损失其中对 7 个回归量分别算 SmoothL1 Loss 然后求和正样本 Anchor 的数量用来归一化避免不同帧目标数量不同导致损失量级波动权重六从特征图到三维框——推理阶段的完整还原训练阶段输出的是损失值。推理阶段检测头输出了三张特征图cls、reg、dir需要把它们还原成有实际物理意义的 3D 边界框。第一步筛选正样本候选对 cls 头的输出取 sigmoid得到每个 Anchor 的类别概率。设置一个置信度阈值一般 0.05 到 0.3 之间只保留概率高于阈值的 Anchor 作为候选框。这一步过滤掉了绝大多数背景 Anchor。第二步还原 3D 框坐标对于每个通过阈值的候选 Anchor从 reg 头读取 7 个预测的残差量通过逆变换还原出预测框的绝对坐标第三步角度方向修正从 dir 头读取方向分类结果如果分类结果表明角度应该翻转车头朝反方向则将加。第四步NMS 去重同一个物体可能被多个 Anchor 检测到需要用 NMSNon-Maximum Suppression去除重复框。PointPillars 使用轴对齐 NMSaxis-aligned NMS即把旋转框投影成轴对齐矩形后再计算 IoU而不是用精确的旋转 IoU。这样计算速度更快论文指出性能相差不大。NMS 阈值IoU 0.5 的框认为重复保留概率高的删除重复的。七细节7.1 车辆和行人/骑行者用的是两个独立网络PointPillars 在 KITTI 上训练了两个独立的网络一个专门检测汽车一个同时检测行人和骑行者。两个网络的架构差异只在 backbone 第一个 Block 的 stride汽车网络S 2因为汽车体积大下采样 2 倍不会丢失关键信息且能加速计算行人/骑行者网络S 1因为行人体积小需要保持更高的分辨率才能检测两者推理速度相近原因如论文所述行人/骑行者网络虽然不做第一步下采样但其感知范围更小所以整体计算量接近。7.2 Data Augmentation 的三层策略论文花了相当篇幅描述数据增强这是 KITTI 上性能的重要来源。三层增强策略依次是第一层GT Sampling来自 SECOND预先建立一个包含所有训练帧里 GT 框及其对应点云的数据库每个 GT 物体及其内部的点云单独存储。训练时从这个数据库里随机挑选一定数量的 GT 物体汽车 15 个行人 0 个骑行者 8 个插入当前帧的点云中。这个操作人为地增加了训练帧里的物体密度让网络见到更多不同背景下的目标是最有效的增强手段据论文带来约 3% mAP 提升。第二层Per-Box Augmentation个体增强对每个 GT 框含采样进来的独立做小幅随机旋转即和小幅随机平移三个方向各从采样模拟目标物体的姿态变化。第三层Global Augmentation全局增强对整帧点云含所有框做沿 x 轴随机镜像翻转50% 概率全局随机旋转和缩放全局平移三个方向各从采样模拟定位噪声八完整的维度变换原始点云输入: (M, 4) M ≈ 数万个点每点 (x,y,z,r)↓ Point Decoration装饰后点云: (M, 9) 增加 xc,yc,zc,xp,yp 五个维度↓ 分 Pillar 填充/采样Stacked Pillar: (9, P, N) P12000, N100汽车网络Pillar Index: (P, 2) 每个 Pillar 在画布上的 (y,x) 位置↓ 1×1 Conv BN ReLULinear: 9→64(64, P, N)↓ MaxPool over NPillar Features: (64, P) (64, 12000)↓ Scatter按 Index 放回画布Pseudo-Image: (64, 500, 440) H×W 取决于检测范围和网格分辨率↓ Block1(S2, L4, C64)(64, 250, 220)↓ Block2(S4, L6, 2C128)(128, 125, 110)↓ Block3(S8, L6, 4C256)(256, 63, 55)↓ Up1(S2→2, 2C128): Block1特征 → (128, 250, 220)↓ Up2(S4→2, 2C128): Block2特征 ×2上采样 → (128, 250, 220)↓ Up3(S8→2, 2C128): Block3特征 ×4上采样 → (128, 250, 220)↓ Concatenate along channelDetection Feature: (384, 250, 220) (6C, H/2, W/2)↓ Detection Head1×1 conv × 3 路cls 输出: (2, 250, 220) 每位置2个Anchor的分类概率reg 输出: (14, 250, 220) 每位置2×714个回归量dir 输出: (4, 250, 220) 每位置2×24个方向分类 logit↓ 阈值筛选 逆变换 方向修正 NMS最终输出: (K, 7) K个检测框每框 (x,y,z,w,l,h,θ)结语PointPillars 成功的原因并不神秘它的贡献在于把正确的思路落地得极其干净用 Pillar 代替 Voxel 消除 3D 卷积用稀疏 Tensor 处理点云稀疏性用伪图像把点云问题转化成成熟的 2D 检测问题。每一个设计决策都有清晰的工程动机整体结构简洁到可以在几百行代码里完整实现。这篇文章没有涉及的是 PointPillars 的局限性——它在高密度区域的小目标检测行人、骑行者上表现较差也没有利用 z 轴的结构信息在复杂遮挡场景下表现不如 3D 方法。后续工作如 CenterPoint、VoxelNeXt、BEVFusion 等都在这些方向上做了改进但 PointPillars 作为一个极度工程化的基线方案至今仍然是大量工业系统的首选起点。理解 PointPillars 的每一个细节是深入 3D 目标检测领域的最好入口。