轨迹误差评估指标[APE/RPE]和EVO

Reference:

1. 高翔，张涛 《视觉SLAM十四讲》
2. 视觉SLAM基础：算法精度评价指标（ATE、RPE）

在实际工程中，我们经常需要评估一个算法的估计轨迹与真实轨迹的差异来评价算法的精度。真实轨迹往往通过某些更高精度的系统获得，而估计轨迹则是由待评价的算法计算得到的。考虑一条估计轨迹 $T_{esti,i}$ 和真实轨迹 $T_{gt,i}$，其中 $i=1,\cdot \cdot \cdot ,N$，那么我们可以定义一些误差指标来描述它们之间的差别。

1. ATE/APE

《视觉SLAM十四讲》上的命名感觉跟 EVO 稍微有一点点区别，比如绝对轨迹误差(Absolute Trajectory Error, ATE)：
$${\mathrm{ATE}}_{\mathrm{all}}=\sqrt{\frac{1}{N}\sum _{i=1}^N{\Vert \log {\left(T_{\mathrm{gt},i}^{-1}{T}_{\text{esti },i}\right)}^{\vee }\Vert }_2^2},$$这玩意儿应该就是 EVO 中的 绝对位姿误差(Absolute Pose Error, APE)，后面这个概念统称 APE。

这个公式实际上是每个位姿李代数的均方根误差(Root-Mean-Squared Error, RMSE)。这种误差可以刻画两条轨迹的旋转和平移误差。同时，也有的地方仅考虑平移误差，从而可以定义绝对平移误差(Absolute Translational Error, ATE)：
$${\mathrm{ATE}}_{\text{trans }}=\sqrt{\frac{1}{N}\sum _{i=1}^N{\Vert \mathrm{trans}\left({\mathbf{T}}_{\mathrm{gt},i}^{-1}{\mathbf{T}}_{\text{est },i}\right)\Vert }_2^2}$$其中 trans 表示取括号内部变量的平移部分。因为从整条轨迹上看，旋转出现误差后，随后的轨迹在瓶以上也会出现误差，所以两种指标在实际中都适用。

2. RPE

RPE 定义的是相对的误差。例如，考虑 $i$ 时刻到 $i+\Delta t$ 时刻的运动，那么相对位姿误差(Relative Pose Error, RPE)可定义为：
$${\mathrm{RPE}}_{\text{all }}=\sqrt{{\frac{1}{N-\Delta t}\sum _{i=1}^{N-\Delta t}\Vert \log {\left(\left(T_{\mathrm{gt},i}^{-1}{T}_{\mathrm{gt},i+\Delta t}\right)\right)}^{-1}\left(T_{\text{esti },i}^{-1}{T}_{\text{esti },i+\Delta t}\right))}^{\vee }{\Vert }_2^2,}$$同样地，也可只取平移部分：
$${\mathrm{RPE}}_{\text{trans }}=\sqrt{\frac{1}{N-\Delta t}\sum _{i=1}^{N-\Delta t}\Vert \mathrm{trans}{\left(\left({\mathbf{T}}_{\mathrm{gt},i}^{-1}{\mathbf{T}}_{\mathrm{gt},i+\Delta t}\right)\right)}^{-1}\left(T_{\text{esti },i}^{-1}{T}_{\text{esti },i+\Delta t}\right)){\Vert }_2^2}$$

3. EVO

使用示例如下：

evo_ape kitti ground_truth.txt laser_odom.txt -r full --plot --plot_mode xyz
evo_rpe kitti ground_truth.txt laser_odom.txt -r trans_part --delta 100 --plot --plot_mode xyz

evo_ape 的默认形式是 -r trans_part，即计算的是这里的 ATE，想要计算 APE，可以使用 -r full。

3.1 评估指标

• max：表示最大误差；
• mean：平均误差；
• median：误差中位数；
• min：最小误差；
• rmse：均方根误差；
• sse：和方差、误差平方和；
• std：标准差

3.2 使用

可以先使用 EVO 仓库中自带的数据尝试

3.2.1 轨迹可视化

cd test/data
evo_traj kitti KITTI_00_ORB.txt KITTI_00_SPTAM.txt --ref=KITTI_00_gt.txt -p --plot_mode=xz

3.2.2 APE

evo_ape kitti KITTI_00_gt.txt KITTI_00_ORB.txt -va --plot --plot_mode xz

3.2.3 RPE

evo_rpe tum fr2_desk_groundtruth.txt fr2_desk_ORB.txt -va --plot --plot_mode xyz