从系列:理解传感器融合和跟踪
布莱恩•道格拉斯
本视频概述了传感器融合是什么,以及它如何帮助自主系统的设计。它还介绍了几个场景,说明了传感器融合可以实现的各种方式。
传感器融合是定位定位、检测和目标跟踪的关键部分。我们将展示传感器融合不仅仅是卡尔曼滤波器;它是一整套算法,可以混合来自多个来源的数据,以更好地估计系统状态。传感器融合的四个主要好处是提高测量质量、可靠性和覆盖范围,以及能够估计没有直接测量的状态。事实上,传感器融合在完全不同类型的自动驾驶系统中具有广泛的吸引力,这使得它成为一个有趣且值得学习的话题。
传感器融合是自主系统设计的重要组成部分;自动驾驶汽车、雷达跟踪站和物联网等都依赖于这样或那样的传感器融合。所以在这个视频中,我想回答的问题是:“传感器融合是什么?它如何帮助自主系统的设计?”如果你是这个话题的新手,这将是一个很好的第一个视频,因为我们将讨论它的广义定义,然后展示几个场景,说明传感器融合的各种方式。所以我希望你能留下来。我是Brian,欢迎来到MATLAB技术讲座。
高级的定义是,传感器融合是以一种产生对系统更好理解的方式结合两个或多个数据源。这里的“更好”是指与单一数据源相比,解决方案在时间上更一致、更准确、更可靠。在大多数情况下,我们可以认为数据来自传感器,它们测量的东西提供了对系统的理解;例如,它加速的速度,或者到某个物体的距离。但数据源也可以是一个数学模型,因为作为设计师,我们对物理世界有一些知识,我们可以将这些知识编码到融合算法中,以改进传感器的测量。
为了理解其中的原因,让我们从宏观的图景开始。自治系统需要与周围的世界进行交互,为了成功,系统需要具备某些功能。我们可以将其分为四个主要领域:感觉、感知、计划和行动。
感觉是指用传感器直接测量环境。它从系统和外部世界收集信息。对于自动驾驶汽车来说,传感器套件可能包括雷达、激光雷达、可见摄像头等。但仅仅用传感器收集数据是不够的,因为系统需要能够解释数据,并将其转化为可被自动系统理解和操作的东西。这就是感知步骤的作用:让感知到的数据有意义。例如,假设这是一辆车的摄像头传感器的图像。汽车必须最终将像素点解释为一条有车道线的道路,并且在旁边有什么东西,可能是一个即将过马路的行人,或者是一个静止的邮箱。为了让系统决定下一步要做什么,这种理解水平是至关重要的。这是计划步骤,在这一步,它找出它想要做什么,并找到到达那里的路径。最后,系统会计算出让系统遵循这条路径的最佳行动。 This last step is what the controller and the control system is doing.
好的,让我们回到感知这一步因为我想在这里讲得更详细一些。这一步有两个不同但同样重要的职责。它负责自我意识,这被称为定位或定位——你知道,回答诸如我在哪里,我在做什么,我处于什么状态等问题。但它也负责态势感知,比如探测环境中的其他物体并跟踪它们。
那么传感器融合从何而来呢?它横跨了感觉和感知,因为它对这两种能力都有影响。这是一个获取多个传感器测量值,将它们结合起来,并混合来自数学模型的额外信息的过程,其目标是更好地了解世界,系统可以利用这些信息来计划和行动。
考虑到这一点,让我们来看看传感器融合可以帮助我们更好地定位和定位我们自己的系统,以及检测和跟踪其他物体的四种不同方法。
好的,对于第一种情况,我们来谈谈传感器融合的一个常见原因那就是提高数据的质量。我们总是希望使用噪音更少、不确定性更少、偏离事实的数据。总体来说数据很好,很干净。
举个简单的例子,我们拿一个加速度计,把它放在一个固定的桌子上,这样它就只能测量重力引起的加速度。如果这是一个完美的传感器,输出将读取一个常数9.81 m/s^2。然而,实际的测量将是有噪声的——有多少噪声取决于传感器的质量。这是不可预测的噪声,所以我们不能通过校准来消除它,但如果我们添加第二个加速度计并将两个读数平均,我们可以减少信号中的整体噪声。只要噪声在传感器之间不相关,像这样将它们融合在一起,就可以减少传感器数量的平方根因子的组合噪声。所以四个相同的传感器融合在一起的噪音只有一个传感器的一半。在这种情况下,这个非常简单的传感器融合算法就是一个平均函数。
我们还可以通过结合两个或更多不同类型的传感器的测量数据来降低噪声,如果我们必须处理相关的噪声源,这可以帮助我们。例如,假设我们试着测量你的手机相对于北方的朝向。我们可以用电话磁力计来测量从磁北到地球的角度,很简单。然而,就像加速度计一样,这种传感器的测量也会有噪声。如果我们想要减少这些噪音,我们可能会想要增加第二台磁力计。然而,至少有一部分噪音来自手机内部电子设备产生的移动磁场。这意味着每个磁强计都将受到这个相关噪声源的影响,因此对传感器进行平均并不能消除它。
解决这一问题的两种方法是简单地将传感器从损坏的磁场中移开——这在手机上是很难做到的——或者通过某种形式的低通滤波器来过滤测量结果,这会增加延迟,使测量结果响应度降低。但另一个选择是将磁力计与角速率传感器,即陀螺仪融合。陀螺仪也会有噪声,但通过使用两种不同的传感器类型,我们降低了噪声相关的可能性,因此它们可以用来校准彼此。最基本的要点是,如果磁力计测量到磁场的变化,陀螺仪就可以用来确定这种旋转是来自手机的物理移动还是只是噪音。
有几种不同的传感器融合算法可以完成这种混合,但卡尔曼滤波器可能是更常见的方法之一。关于卡尔曼滤波器有趣的是,系统的数学模型已经嵌入到滤波器中了。因此,你可以将传感器测量和你对物理世界的知识融合在一起。如果你想了解更多关于卡尔曼滤波器的知识,请查看我在描述中链接的MATLAB Tech Talk视频。
传感器融合的第二个好处是可以提高测量的可靠性。一个明显的例子是,如果我们有两个相同的传感器融合在一起,就像我们有平均加速度计一样,然后我们有一个备份,以防其中一个坏了。当然,在这种情况下,如果一个传感器出现故障,我们就会失去质量,但至少我们不会失去整个测量。我们还可以添加第三个传感器到混合中,融合算法可以选出任何一个传感器的数据,这些数据产生的测量结果与其他两个不同。
这里的一个例子是使用三个皮托管来可靠地测量飞机的空气速度。如果其中一个坏了或读数不正确,那么仍然可以使用另外两个来知道空速。因此,复制传感器是提高可靠性的有效途径;然而,我们必须小心单一的故障模式,它会同时影响所有的传感器。一架在冻雨中飞行的飞机可能会发现,三个皮托管全部冻结,再多的投票或传感器融合也无法挽救测量结果。
同样,这也是将测量不同量的传感器融合在一起可以帮助解决问题的地方。该飞机可以通过使用GPS和大气风模型估算空速来补充皮托管测量的空速。在这种情况下,当主传感器套件不可用时,仍然可以估计空气速度。同样,质量可能会降低,但空速仍然可以确定,这对飞机的安全很重要。
失去一个传感器并不总是意味着传感器失效。这可能意味着他们测量的量暂时消失了。例如,一个雷达系统正在追踪海洋上一艘小船的位置。雷达站发出的无线电信号在船与船之间来回反射,结合往返旅行时间、信号的多普勒频移、跟踪站的方位角和仰角,估计船的位置和距离率。然而,如果一艘较大的货船在雷达站和较小的船只之间,那么测量将立即转移到该障碍物的位置和距离率。
因此,在这种情况下,我们不需要替代传感器类型或二次雷达跟踪站来帮助测量退出,因为我们可以使用物理世界的模型。一种算法可以开发出被跟踪物体的速度和航向模型。然后当目标不在雷达视线范围内时,该模型就可以接管并进行预测。当然,只有当你追踪的对象是相对可预测的,而且你不需要长期依赖你的预测时,这才会起作用。对于移动缓慢的船只来说,情况差不多就是这样。
传感器融合的第三个好处是我们可以用它来估计未测量的状态。现在,重要的是要认识到,不可测量并不意味着不可测量;这只是意味着系统没有一个传感器可以直接测量我们感兴趣的状态。
例如,一台可见相机无法在其视场内测量到物体的距离。一个远处的大物体可以与一个小但近的物体占用相同数量的像素。但是,我们可以增加一个光学传感器,通过传感器融合,提取三维信息。融合算法将从两个不同的角度对场景进行比较,并测量两幅图像中目标之间的相对距离。因此,这两个传感器不能单独测量距离,但当它们结合在一起时可以。在下一个视频中,我们将通过展示如何使用加速度计和陀螺仪来估计位置来扩展使用传感器估计未测量状态的概念。
现在,我想讲一下这个视频中要讲的最后一个好处。传感器融合可以增加覆盖面积。让我们想象一下汽车上用于停车辅助的短程超声波传感器。这些传感器可以测量你到附近物体的距离,比如其他停着的汽车和路边,让你知道你什么时候接近撞击。每个单独的传感器可能只有几英尺的范围和狭窄的视野。因此,如果汽车需要在四面都有覆盖,就需要增加额外的传感器,并将测量融合在一起,以产生更大的总视场。现在,更有可能的是,这些测量值不会被平均或以任何方式进行数学组合,因为通常知道哪个传感器记录了一个物体是很有帮助的,这样你就知道这个物体相对于汽车的位置。但是,将所有这些传感器聚集在一起形成一个相干系统的算法仍然是传感器融合的一种形式。
所以希望你能开始看到有很多不同的方法来做传感器融合,即使这些方法不一定有共同的算法或甚至有相同的设计目标,它们背后的总体思想是普遍存在的:使用多个数据源来提高度量质量、可靠性和覆盖率,并能够估计没有直接度量的状态。事实上,传感器融合在完全不同类型的自动驾驶系统中具有广泛的吸引力,这使得它成为一个有趣且值得学习的话题。
在接下来的两个视频中,我们将更详细地讲解定位和多目标跟踪的传感器融合。特别是在下一个视频中,我们将展示如何结合加速度计,磁力计和陀螺仪来估计方向。
所以,如果你不想错过这个和未来的Tech Talk视频,不要忘记订阅这个频道。此外,如果你想看看我的频道,控制系统讲座,我也涵盖了更多的控制主题。下次见。
你也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。