PVN3D（一）代码框架

在windows上配置pvn3d的环境一直配不成功，主要卡在了与C++联合编译上，不知道如何处理了。索性先看看代码，竟然发现与论文中的代码对应上了。希望这一段时间把环境配置好。

1.论文中的网络结构

1.RGB图像特征，通过CNN提取特征。深度图的特征，通过pointnet++提取，然后把两个特征连接起来。送入到densfusion网络中，变成N*1792特征。

2.N*1792特征 投入到三个网络中，一个是特征点偏移探测网络，一个是实例分割网络，一个是中心偏移网络。后两个网络特征经过投票聚类，得到了实例级的点云目标，然后结合关键点投票，得到关键点位置；最后通过SVD分解求解得到变换矩阵。

2.看代码

2.1pvn3d.py中的几个网络

2.2 深度学习框架

2.3 loss损失

2.4找到点对应

可以看到对应的3D点是mesh_kps和cls_kps

mesh_kps和cls_kps是怎么来的呢？

mesh_kps是模型上提取的3D特征点，是真值点

cls_kps是怎么来

传进来的点，进行meanshift聚类，然后再获得点。

2.4ICP计算与优化

很常规的两个三维点集之间的RT计算：

按照论文图上的流程，特征提取，实例分割、特征提取、偏移提取，loss计算、meanshift，RT计算等找到了位置，整体上构成了整个训练和RT计算的流程。后续打算把代码配置好，跑通，并且把详细细节学习学习。