激光雷达摄像机校准有助于估计系统中激光雷达和摄像机之间的相对位置和方向
摄像机提供丰富的颜色信息,而激光雷达传感器提供精确的物体的三维结构和位置信息。当融合在一起时,我们可以提高感知和地图算法的性能,用于自动驾驶和机器人应用。
激光雷达摄像机标定涉及到以刚性变换矩阵形式计算激光雷达摄像机系统的外部参数。
外部参数定义了传感器相对于世界框架和彼此之间的位置和方向。这些参数对于融合来自这些传感器的数据至关重要。激光雷达工具箱提供MATLAB函数和交互式应用程序,用于执行激光雷达摄像机校准。Lidar Camera Calibrator应用程序是一个简单的交互式界面,可以交叉校准系统中的摄像机和激光雷达。
以下是我们将遵循的工作流程。我们将从图像和相应的点云加载并提取棋盘格特征。然后我们将利用这些特征来估计相机和激光雷达之间的变换矩阵。
现在让我们看看如何使用Lidar Camera Calibrator应用程序来实现这个工作流。
我们可以使用命令行打开应用程序,或者从add on菜单中找到应用程序。
一旦应用程序打开,我们将首先添加图像和相应的点云的棋盘校准模式。使用棋盘是因为它的规则模式使其易于自动检测。建议使用10至20个棋盘数据,以获得准确的校准结果。
接下来,输入棋盘正方形的大小,单位是毫米,厘米,米。这里的数据,我们使用了一个200毫米大小的棋盘。
这一步是找到世界单位与图像点云对之间的映射所必需的。
当我们加载数据时,应用程序会自动校准相机的固有特性,并检测加载的图像点云对中的棋盘格校准模式。
或者,如果你已经有camera intrinsic可用的,你可以通过在camera intrinsic部分选择use fixed intrinsics加载它们。
在左侧面板中,您可以看到已接受的数据和已拒绝的数据。在接受的数据面板中可以看到每一个检测到棋盘格模式的像点云对。这些数据将用于校准传感器之间的转换。
你可以调整工具条上的“特征检测”部分的值,以帮助检测拒绝的数据
您还可以使用编辑ROI功能来改进您的检测。您可以更改/移动ROI来捕获由棋盘组成的点云区域。
然后单击“检测”再次检测整个数据上的棋盘模式。你可以在这里看到9对中的8对现在被接受来校准转换。
经过棋盘检测后,我们可以通过点击“校准”按钮来校准变换。
你现在可以看到激光雷达棋盘点投影在图像上,图像的颜色融合到激光雷达点云中。
校准完成后,可以通过可视化平移、旋转和重投影误差来评估校准结果。
这有助于识别坏数据,以便删除和重新校准以获得更好的结果。
我们可以通过拖动任何错误图中的阈值线,然后通过右键单击并选择“删除和重新校准”选项,在接受的数据浏览器中删除高亮显示的数据对。
现在,我们可以将估计的转换和错误导出到MATLAB工作空间或文件中。
您还可以从中生成一个MATLAB脚本。
校准后的激光雷达摄像系统可以进一步应用于像
1-从对应图像的二维边界盒中估计激光雷达数据中的三维边界盒坐标。
2-融合点云上的相机颜色信息。
请参阅MathWorks文档和Lidar Toolbox产品页面了解更多信息。
如果您有任何问题或意见,请告诉我们。
你也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。