【深蓝学院】手写VIO第8章--相机与IMU时间戳同步--作业

0. 题目

1. T1 逆深度参数化时的特征匀速模型的重投影误差

参考常鑫助教的答案：思路是将i时刻的观测投到world系，再用j时刻pose和外参投到j时刻camera坐标系下，归一化得到预测的二维坐标（这里忽略了camera的内参，逆深度是在camera系下）
要计算的是i时刻和j时刻之间的补偿之后的u坐标的重投影误差，所以i时刻也要补偿，具体步骤见下，式（5）参照14讲P47的公式，已经用过很多次了。

2. T2 阅读Kalibr论文，总结基于 B 样条的时间戳估计算法流程

2.1 答题

论文题目： Unified Temporal and Spatial Calibration for Multi-Sensor Systems
多传感器的联合时空标定

B(ackground)：标定时time offset和外参是分开标的（但实际上二者应该有联系）。
I(ntention)：在不支持硬件或者软件上时间戳同步的多传感器上实现较高精度的多传感器联合时空标定。
M(ethod)：提出一个estimator和一个框架来联合标定。
R(esult)：精度高。
C(conclusion)：好，有望拓展到其他的sensor联合标定。

论文contri(bution):

1. 提出一种方法标定fixed时间延迟
2. 推导一个estimator可以同时标时间戳和外参(rotation only)
3. 数据集和真实数据上的结果证明estimator估计时间戳很准
4. 准是因为很好的用了之前别人没用的加计数据

助教的学术话版本：

1. 提出一种统一的使用批量、连续时间下的最大似然估计方法，估计多传感器之间的固定时间戳延迟。
2. 提出一个可以同时校准相机和IMU之间位姿和时间戳延迟的估计模型。
3. 这个估计模型应用在仿真数据和真实数据上，都有足够的灵敏度估算出时间戳延迟。
4. 证明时间戳延迟估计明显受益于在加速度测量中所包含的附加信息。

论文主要理论（助教答案）：

本文方法的主要贡献是把估计时间戳延迟和外参R整合到一个MLE(最大似然估计)框架中，而这样做的基础就是B样条方法，使用B样条可以 parameterize the motion of the device.具体到VI的标定就是下面的内容：

• B样条参数化将IMU位姿转化为$\mathbf{C}()$ funtion和旋转向量$\phi (t)$，
• 将平移表示为$\mathbf{t}(t)$，
• 速度和加速度可通过$\mathbf{t}(t)$求一二阶导而得，
• 角速度也可由旋转向量推导而得

如此可以使用B样条参数化所有的构建residual所需的variable，对LSP进行优化求解即可优化出时间戳延迟和旋转外参R

2.2 B样条拓展

下图参考博客：https://blog.csdn.net/weixin_43846627/article/details/104297637

关于B样条曲线函数，由控制顶点和B样条基函数组成，是一系列解析基函数的加权和

原文中的式(1)

待估计变量被用B样条表示，而(1)中的$\mathbf{\Phi }(t)$是基函数，其值为定值，所以优化待估变量就转化为优化权值向量$\mathbf{c}$，时间戳是如此，其他的以此类推。

2.3 文中其他细节

1. 可以根据物理性质和动态性给总残差加上正则项
   

2. B样条参数化可以使info mat的优化过程变稀疏

3. 优化过程中信息矩阵中的各个部分与VIO各个参数的关系（这个看到很多论文针对其算法的有效性进行分析时，都研究过info mat）
   

4. temporal padding value 的选择影响优化的结果，理解为padding即给优化结果锚定一个优化范围，文中选择的是0.04senonds
   

5. 用最佳拟合线和理论线的斜率差和斜率差与0.5的RMS error，使用LSP来评估结果（这里没太看懂为什么理论值是0.5）
   

6. 结果表明：使用所有IMU数据进行时空联合标定（即同时使用了gyro和acc数据）的精度高，variance小，对比项是gryo only，acc only，分开标定这三项
   

文献拓展：
[7]提出连续时间的batch估计time offset方法，basis function approach： P. T. Furgale, T. D. Barfoot, and G. Sibley, “Continuous-time batch estimation using temporal basis functions,” in Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), St. Paul, MN, 14-18 May 2012, pp. 2088–2095.
[14]B样条方法： R. H. Bartels, J. C. Beatty, and B. A. Barsky, An Introduction to Splines for use in Computer Graphics and Geometric Modeling. Los Altos, California, USA: Morgan Kaufmann Publishers Inc., 1987.

3. T3 推导时间戳延迟的雅克比

文章即北大的提出轨迹匀速模型：Weibo Huang, Hong Liu, and Weiwei Wan. “Online nitialization and extrinsic spatial-temporal calibration for monocular visual-inertial odometry”. In: arXiv preprint arXiv:2004.05534 (2020).

助教答案：