来自系列:了解传感器融合和跟踪
布莱恩道格拉斯
进入轨道级融合的见解,需要它的跟踪情况的类型以及与之相关的一些挑战。
您将看到两种不同的跟踪体系结构—跟踪到跟踪的融合和中央级别的跟踪—并了解选择其中一种体系结构的好处。
在此视频中,我想向您介绍跟踪级别的融合或跟踪跟踪融合。您可以听到这两个术语可互换使用。现在,我们不会进入任何特定的算法。相反,我想解释哪些轨道级融合是什么以及它与我们已经在本系列中覆盖的跟踪算法不同。
希望在这个过程中,这将提供一些动机和直觉,为什么轨道级融合在某些情况下是必要的。然后,我们还会讨论一些与之相关的挑战。所以我希望你能留下来。我是Brian,欢迎来到MATLAB技术讲座。
首先,让我们比较两种不同的跟踪架构。我们将从一个我们称之为中央层次跟踪的架构开始。如果您一直跟随本系列,那么您可能已经习惯了这一点。在这种架构中,传感器检测被输入到跟踪算法中,该算法将检测分配到跟踪和更新跟踪对象的状态和协方差——这正是我们在过去几个视频中看到的。
这里的关键是所有传感器数据都在相同的级别和相同的跟踪器内融合或混合在一起,其中有一种母体方法,其中存在一个具有可用的所有信息的集中式单元,并且执行所需的计算估计曲目。
现在,通过这种架构,我们可以只有一个传感器或多个混合在一起的传感器。我们可以只是追踪单个目标或多个目标。而目标本身可以是点对象或扩展对象。只要传感器测量源进入中央跟踪器,就无论是追溯的,我们都可以将其视为中央级跟踪器。
现在,让我们将这种体系结构与其中所谓的传感器级跟踪和跟踪级融合进行比较。这里的想法是一个或多个传感器进入中心级跟踪器,就像其他架构一样。但现在,我们有几个这些跟踪器每组融合他们自己的传感器。
这些是此架构中的传感器级跟踪器。每个都会产生自己的轨道估计。但现在,我们可以将所有这些估计的曲目组合在一起或将所有这些估计的曲目组合在一起,我们将使用轨道级定影器调用中心轨道。
作为一个快速示例,一个传感器级跟踪器可以说这里有一个对象具有此概率分布。另一个传感器级跟踪器可以说对象具有不同的概率分布。轨道级定影器需要确定这两个曲目是否是两个不同的对象,或将它们与它们相关联。
如果是同一个物体,那么将两种估计结合起来创建一个新的状态和概率分布,它比任何一个源轨迹本身都更准确。我们可以使用这种带有多个传感器的架构来跟踪单个或多个对象,也可以跟踪点或扩展对象,类似于中心级别的跟踪功能,但方法略有不同,采用分布式方法来解决这个问题。
所以这个问题可能是,为什么不仅仅是使用单个跟踪器?为什么要通过多个跟踪器的额外步骤,然后必须将它们的曲目融合在一起?嗯,回答这一点,让我们来看看追踪跟踪融合的一些好处和一些方案,它是一个更具吸引力的选项。然后,我们将介绍一些挑战。希望你能够形成一个关于你可以选择一个架构的意见。
如果您担心访问数据,带宽,计算能力和专业化,则跟踪级别融合可能是有益的。让我们从访问数据开始。如果您无法访问原始传感器数据,则可能会强制使用曲目级定影器,如果您购买具有内置融合和跟踪算法的传感器,则可能是这种情况。
例如,您可能有一个LIDAR系统,它不会返回点云,而是能够跟踪场景中的一些对象并为每个对象返回它们中的每个对象。这里的轨道可能是具有位置,速度,方向和形状的状态向量,以及一组协方差矩阵,其指示每个州的置信度量有多符合。
在这种情况下,为了将此跟踪信息与其他传感器混合,例如,在自动车辆上具有可见的相机系统,您将需要一个轨道级定影器。现在,即使您购买或构建要访问检测的传感器,也可能无法将从传感器的实时从传感器传输到运行跟踪器的计算元素。
一些传感器产生的数据速率对通信总线的带宽来说太大了,特别是激光雷达是一种每秒采样几十次的隐形相机。如果你的通信系统带宽有限,每秒可以发送的比特数有限,那么你可能会对减少每个传感器发送的数据的大小感兴趣。
与相机图像相比,跟踪信息很小。因此,如果本地计算机可以处理传感器信息并将其蒸馏一下,以便对其跟踪的对象进行最佳估计,则需要将需要发送到运行曲目级定影器的主计算机的许多信息。
现在,即使带宽不是问题,也可以发送所需的所有数据,仍然可能仍有计算功能的问题。同样,想象一下车辆上有几十个可见的相机和激光雷达传感器。中央级跟踪器需要能够以一个巨大的跟踪算法进行摄取和处理所有数据。这可能需要太多的处理时间来以所需的采样率产生估计。
但是,如果本地计算机正在处理其自己的传感器数据,则所有初始处理都是并行完成的,在许多计算机之间分布。然后轨道融合算法只需要能够处理更小的轨道信息,这可以相当加速整个处理时间
好的,所以也许这对你来说都不是因为让我们说你有一个功能强大的电脑,可以一次处理所有数据。具有轨道级定影器可能仍然有益,因为它允许传感器级跟踪器专门用于其特定的传感器类型。
请记住,在跟踪器中,我们必须设置运动模型和传感器模型,并将检测与对象和现有轨道相关联。我们必须将其调整到特定的硬件和预期环境条件集等。如果我们构建一个侧重于融合在一起的追踪器,所以只能让所有这些都更容易说明,只是相机数据。然后我们可以融合那些通过Say基于LIDAR的跟踪器生成的曲目。通过这种方式,我们没有单一的大量跟踪算法,但许多较小的算法可以更容易设置,调整和测试。
因此,这些都是您可能想要或需要在车辆上实现轨道级融合算法的原因。这些都看起来真的很好。所以现在的问题是,我们为什么不始终做赛道级融合吗?为了回答这一点,让我们来看看两个挑战 - 降低准确性和相关噪音。
让我们开始减少准确性。我们已经表示,传感器可以产生大量数据,并且跟踪器蒸馏到数据向下的数据向量,其信息较少。作为该过程的副产品,我们可能会删除一些有用的信息,曲目级定影器不再能够访问的信息。通过这种方式,当我们一起熔断轨道时,它可以产生比我们在传感器级别的所有信息融合在一起的效果不太准确的结果。
作为一个快速示例,想象一下,我们正在跟踪两个不同的传感器的相同两个对象。传感器A具有以下检测。它的跟踪器为左对象生成了曲目,但不是右侧。它将这些检测视为杂散的噪音,忽略它,或者也许,它尚未建立轨道。
传感器B正在做出相反的。它具有右侧对象的轨道,但它忽略了左侧检测。现在,融合这两个曲目在一起导致它们两个被包括在中央轨道列表中,未经修改,因为没有其他信息可以更新它们。但是,如果我们一起将所有传感器检测组合在一起,则单个检测将与其他检测分组,可用于帮助改善估计值。
但轨道级融合还有另一个问题可以说是更重要的,那就是相关噪声的问题。如果我们融合在一起的轨迹在某种程度上是相关的,那么我们就不能像在标准卡尔曼滤波器中那样把它们的概率相乘。
作为一个极端示例,想象两个使用相同的过程模型的跟踪器来预测未来状态。每个模型都以完美的了解它从其自身相应的完美传感器获得的物体的完美知识初始化。随着模型在前向前传播这种完美状态,由于模型中的过程噪声或错误,我们的不确定性会增长。
我们现在有两个不确定的赛道估计。我们可能会尝试将这两个曲目融合在一起,以便我们有一个中央估计,我们对此有更多的信心。我的意思是,如果两个不同的模型预测相同的状态,那么我们似乎应该比我们对融合解决方案更多的信心在任何一种解决方案上都会自己。
然而,这些轨道概率高度相关,因为它们是使用相同模型生成的。所以我们实际上不应该对熔丝解决方案有更多的信心,然后我们就是这样做的。因为我们基本上只是跑了两次相同的型号,所以为什么要结合结果给我们更多信息?
因此,如果轨道之间没有相关性,那么我们希望我们的跟踪器利用此功能,并提高我们对解决方案的信心。但是如果存在大量相关性,那么我们希望跟踪器以不增加我们信心的方式融合解决方案。金宝搏官方网站但这是真正的问题。我们可能不一定知道两个曲目如何或者两个曲目相关。处理这个未知的相关性是一些现有的融合算法背后的想法,如协方差交叉。
而且我已经留下了一个关于这种资源的链接,这对此进行了更多的深度,但让我向您提供大约它的工作方式。假设跟踪器产生对象位于用该椭圆形表示的2D平面上的概率分布。第二跟踪器产生相同对象的这种分布。为了使这两个概率融合在一起,我们可以创建第三个概率,这些概率绑定了这两个的交点。
|是,我们在看这两个椭圆的交点并创建一个完全包含这个交点的分布。
你可以看到这个分布比之前的任何一个都要小,这表明我们对解有更多的信心。然而,随着过程噪声或传感器噪声变得更加相关,这两个概率开始对齐,您可以看到交集如何增长,直到这两个概率完全对齐,它成为完全相同的分布。
现在,这是一种融合概率的保守方法,因为你可以想象,我们可能会有完全随机排列的分布,完全没有相关性。当这种情况发生时,该方法仍然将它们视为相关的
好的,我想在这个视频中谈论最后一件事。到目前为止,我们研究了这种架构,其中源轨道进入定影器来自传感器级跟踪器。但是,在某些情况下,源轨道可能来自其他轨道级定影器,这可以创造一些有趣的现象。
为了说明这个问题,让我们假设有两辆自动驾驶汽车,每辆汽车都有自己的一套传感器级别的跟踪器,并将其输入到轨道级别的熔合器中。后面的车辆的位置使它看不到前面的行人,但前面的车辆可以看到。你可以想象,当后面的车辆知道前面有行人时,它会受益,这样当它进入视线时,它就不需要浪费宝贵的时间建立新的轨道。就已经存在。
因此,为了实现这一点,两辆车辆都可以彼此共享他们的中心轨道并与他们的估计轨道一起融合它们。但现在我们推出了一个可能的问题,称为谣言,它发生在这样的情况下。前车通过与它分享其轨道,通过分享其轨道告诉后车辆围绕行人。所以现在,这两个车辆都知道对象并与自己的流程模型一起传播它状态。
每走一步,前面的车辆就会感知到物体并更新它的轨迹,说,嘿,物体还在这里。后面的车说,是的。我也一直在用流程模型跟踪它。我们很好。但现在让我们想象一下,物体消失了或移出了传感器的框架。
前面的车辆可能会扔下轨道,说,嘿,那个物体不见了。但是后面的车辆在传播状态的时候可能还没有放下轨道然后告诉前面的车辆,嘿,不要担心。有人告诉我这个物体,我还在追踪它。这是它的状态信息尽管它所做的只是传播前面车辆给它的状态。
好吧,现在,前车会说,好的,我会保留这条赛道以来你告诉我它还在那里。现在,谣言已经开始。即使没有车辆实际上也在传感它,那条轨迹仍然存在。因此,需要以阻止谣言传播的方式设置轨道融合算法,这实际上可以非常棘手而无法妨碍实际的非谣传轨道。
好的,与我在这里提到的相比,中央层面和轨道层面的融合有更多的好处和挑战,但这些是一些主要的。正如您现在看到的,没有一种跟踪方法最适合于所有情况。希望您可以开始拼凑出哪些跟踪场景可以从跟踪级融合的速度和效率中受益,哪些场景更适合不那么复杂、可能更精确的中央级别跟踪。
一如既往,如果你想进一步探索我在这里所介绍的东西,我已经与几个资源相关联,这些资源在我谈过的所有资源中,但我希望这次短视频有所帮助。如果您不想错过任何其他未来的技术谈话视频,请不要忘记订阅此频道。如果您想查看我的频道,控制系统讲座,我还涵盖了更多的控制理论主题。谢谢你的看,我下次见到你。
你也可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。