视觉里程计的融合方法及优缺点分析

        视觉里程计是视觉slam的一部分，即前端部分，用于前端跟踪并建立局部地图。多用于重定位或辅助定位，常用的有特征点法，光流法和直接法，其区别和优缺点如下。

        特征点法，需要计算特征点和描述子，计算过程比较耗时，定位取决于特征点提取精度，和匹配结果，根据匹配结果做最小化重投影误差，以单目为例根据之前计算的地图点，和当前帧与上一帧的匹配结果和三角化生成的地图点将当前帧的观测地图点投影到下一帧的二维像素点上，同时计算下一帧的观测地图点，最小化重投影误差得到两帧之间的相对位姿关系。缺点是特征点耗时长，且对光照变化敏感，常用开源方法有orb,vinsmono.

        光流法，计算关键点，对关键点进行LK光流跟踪，通过最小化光度误差来计算两帧之间的相对位姿变化即根据光度一致性假设通过计算最小化关键点的对应灰度值误差来估计相机位姿的相对运动。光流法计算的减少了计算特征点的操作计算速度快，但一般场景不满足光度一致性假设，所以跟踪效果不如特征点法。尤其对于局部光度区分度较低的区域会跟踪丢失。

       直接法，不计算特征点和关键点，初始化过程会选择小部分满足灰度条件像素点，直接对像素进行操作。对像素点和地图点同时计算最小化光度误差来估计运动，计算量大，可以生成半稠密地图。常用开源方案有dso dmvio，缺点与光流法类似并不总是满足光度一致性假设。

       视觉里程计的融合方法，选择特征点法作为融合方案，对相机输入的两帧图像计算匹配点，三角化得到位姿后续用epnp估计位姿，将估计到的位姿转换到雷达坐标系，与轮速计和lds一同进行定位，根据场景和精度选择用哪个定位结果，比如lds退化场景用作辅助重定位，可以用视觉里程计关键帧生成的稀疏点云地图做视觉重定位。

       需要注意的问题，第一单目特征点跟踪是没有尺度信息的，需要通过位姿融合计算尺度，第二需要标定相机与lds之间的相对位姿关系，用于相机坐标向雷达坐标系的转换，第三单目不同于双目和rgbd相机初始化过程复杂，如何将初始化过程引入并与lds同步定位。