相机雷达外参标定算法调研

0. 简介

相机与激光雷达的外参标定是自动驾驶、机器人等领域的基础工作。精准的标定不仅有助于提高数据融合的效果，还能提升算法的整体性能。随着技术的发展，许多研究者和公司致力于开发高效的标定工具和算法，本文将对无目标标定和有目标标定两种主要的标定方法进行调研。

1. 无目标标定

无目标标定的主要特点是无需使用特定的标定目标，而是利用环境中的自然特征进行标定。以下是几种代表性的无目标标定方法和工具：

1. Direct Visual Lidar Calibration
   • 该软件包提供了一种通用的激光雷达与相机的标定工具，可以处理各种激光雷达和相机的投影模型。标定过程中不需要标定目标，依赖于环境结构和纹理进行标定。
   • 特点：自动化程度高，不需要初始猜测，精度高且稳健。
   • 链接

2. MFCalibMFCalib旨在在无靶标环境下实现自动外参标定。该方法结合了从激光雷达（LiDAR）点云中提取的多特征边缘与从图像中提取的自然边缘特征，通过单次数据采集，最小化重投影误差。MFCalib通过对LiDAR光束的建模，有效解决了深度不连续边缘膨胀的问题，展现了出色的适应性，能够在多种室内外场景中快速调整外参，从而克服了传统基于靶标方法的局限性。

MFCalib研究论文链接

3. Livox Camera Calibration整个工作的流程如下：首先，利用Canny算子从图像中提取边缘特征。随后，对雷达点云进行体素化分割，并通过RANSAC聚类算法识别出边缘特征。接着，这些雷达边缘特征被投影到相机矩阵中进行匹配。之后，计算雷达点云的噪声模型，并建立约束关系，确保投影到图像平面上的雷达点和对应的图像特征之间的向量与图像法向量的乘积为零。接下来，将相关公式进行代入和一阶偏导近似，得到雷达点云测量误差的近似公式。最终，采用最小化该误差方差的方法，得到的收敛解即为所需的外参估计。
Livox Camera Calibration

4. MIAS-LCEC：激光雷达-相机外参标定（LCEC）对于智能车辆中的数据融合至关重要。传统上，基于目标的离线方法在该领域一直是首选。然而，这些方法通常对现实环境的适应性较差，主要是因为外参可能因中等冲击或在振动环境中长时间操作而发生显著变化。相比之下，在线无目标的方法提供了更大的适应性，但通常缺乏鲁棒性，主要是因为跨模态特征匹配中的挑战。因此，本文充分挖掘大型视觉模型（LVMs）的潜力，这些模型在计算机视觉和机器人领域，尤其是体感人工智能中，正成为重要趋势，以实现各种挑战场景下的鲁棒和准确的在线无目标LCEC。
MIAS-LCEC工具箱

5. CalibAnything算法是应用pcl分割点云，sam分割图像，通过匹配物体间重合获取最终外参，算法感知结果应用到标定前端的结合应用
链接

6. Extended Lidar Camera Calibration
   Extended Lidar Camera Calibration 是对livox_camera_calib的扩展版本，适用于旋转式激光雷达（例如：VLP16）。为了使该算法能够在旋转激光雷达上应用，作者增加了预处理过程（FLOAM），以使旋转激光雷达的点云更加稠密。这一改进有助于提高标定的精度和鲁棒性，适应更复杂的环境。

链接

7.LCCNet
LCCNet 是一个在线激光雷达相机自校准网络（LCCNet），可以进行端到端训练并实时预测外部参数。在 LCCNet 中，我们利用成本体积层来表达 RGB 图像特征和从点云投影的深度图像之间的外参。链接

2. 有目标标定

有目标标定是指使用特定的标定板或目标物体进行外参标定。以下是一些常见的有目标标定工具和方法：

1. Libcbdetect
   • 一个MATLAB实现的棋盘格检测算法，能够自动提取角点到亚像素精度，适用于各种相机类型。
   • 链接

2. Livox-Camera标定工具
   • 提供了手动校准Livox雷达与相机之间外参的方法，基于标定板的角点进行标定，适用于Mid-40、Horizon和Tele-15等设备。
   • 中文文档
   • 链接

3. Autoware 标定包
   • Autoware框架下的激光雷达与相机标定工具包，封装了多种标定算法，方便开发者使用。
   • 链接

4. ROS 标定工具
   • ROS下的Camera LIDAR Calibration Package，提供了一套完整的标定流程，适用于ROS环境。
   • 链接

5. 2D Lidar-Camera工具箱
   • 基于ROS的单线激光与相机外参数自动标定代码，通过二维码估计标定板平面在相机坐标系下的方程。
   • 链接

这些有目标标定方法通常具有较高的精度，对标定目标的要求相对较高，但在静态环境下的标定效果更为可靠。

6. Apollo 标定工具
Apollo标定工具箱，链接

…详情请参照古月居