RPCGC阅读

24年的MM

创新

现有点云压缩工作主要集中在保真度优化上。

而在实际应用中，压缩的目的是促进机器分析。例如，在自动驾驶中，有损压缩会显着丢失户外场景的详细信息。在三维重建中，压缩过程也会导致场景数据中语义信息(Contour)的损失。

第一个提出了感兴趣区域(ROI)引导的点云压缩范式，同时优化机器感知性能和视觉保真度。

基础层(坐标)对点云进行简单的编码和解码，增强层(特征)通过关注几何细节来改进这一点。

Pipeline

输入：坐标(x0，y0，z0)。

基础层：坐标经过量化Q，和简单的GPCC编码得到比特流存储，解码再反量化得到预测的基础坐标(x1’,y1’,z1’)。

增强层：将坐标经过量化Q反量化Q-1得到有误差的坐标(x1,y1,z1)，做差得到残差R，经过残差分析模块得到残差特征F，F经过一个权重W得到增强残差特征F’，在经过熵编码得到比特流存储，熵解码得到预测残差特征F’‘，经过残差合成模块得到预测残差R’，加权得到预测的原始坐标(x0’,y0’,z0’)，再输送给下游任务，重建或检测。

剩下就是如何得到增强权重W–通过RPN和RSM。

ROI

RPN输出所有点对应所有类别的概率向量。或者该点对应为前景或背景的概率。

Color Map用Softmax将概率转换为类别标签。

在Region Selection中，识别背景和前景，选择一些类别作为背景，其余类别组成前景。

由于经过量化，反量化，坐标可能有细微变化，需要进行坐标对齐，并对不同区域生成不同权重的掩码。

xrm应该是写错了，上下文其他地方都没有出现过xrm。

将掩码经过一系列处理匹配残差特征的维度。

将特征对齐后的掩码加权到增强特征中，进行后续处理。

两阶段训练

第一阶段只训练ROI网络，使ROI网络能够学会分割/识别点云中的前景与背景或具体类别。

第二阶段重点优化压缩网络本身，并将重构后点云送入检测器计算Ldetection。

综合考虑几何失真DRW−CD、码率R以及检测损失Ldetection。

其中DRW−CD为普通CD距离加上掩码信息。

一些模块细节

实验

使用两个室内场景数据集(ScanNet，SUN RGB-D)进行训练和评估。将结果扩展到MVUB数据集。

压缩效果一般。

mAP@0.25=0.6表示在IoU阈值0.25的条件下，所有类别的平均精确度为60%。

编码时间不具备优势。

ScanNet数据集中不同压缩算法的检测任务的输出的可视化，bpp和PSNR表示平均值。

比较的方法较早，不具有前沿性。