主要内容

开始使用PointPillars

PointPillars是一种使用二维卷积层进行三维目标检测的方法。PointPillars网络有一个可学习的编码器,它使用点网学习以支柱(垂直柱)组织的点云表示。然后,该网络运行二维卷积神经网络(CNN)生成网络预测,解码预测,并为不同对象类(如汽车、卡车和行人)生成三维边界框。

点目标检测

点支柱网络有以下几个主要阶段。

  1. 使用特征编码器将点云转换为稀疏伪图像。

  2. 使用二维卷积主干将伪图像处理为高级表示。

  3. 使用检测头检测并回归三维边界框。

PointPillars网络

点支柱网络需要两个输入:支柱索引作为P-by-2和支柱的特点是P-借-N-借-K矩阵P是网络中的支柱数量,N是每个支柱的点数,以及K是特征尺寸。

网络从一个特征编码器开始,这是一个简化的点网。它包含一系列卷积、批处理规范和relu层,然后是最大池层。末端的散射层使用支柱索引将提取的特征映射到二维空间。

接下来,网络具有由编码器-解码器块组成的二维CNN主干。每个编码器块由卷积、批处理范数和relu层组成,以提取不同空间分辨率的特征。每个解码器块由转置卷积、批处理范数和relu层组成。金宝搏官方网站

然后,网络在每个解码器块的末尾连接输出特征,并将这些特征通过六个具有卷积层和S形层的检测头来预测占用率、位置、大小、角度、航向和类别。

PointPillars网络图

创建点支柱网络

你可以使用深度网络设计器(深度学习工具箱)应用程序以交互方式创建深度学习网络。要以编程方式创建PointPillars网络,请使用点柱目标探测器对象。

迁移学习

属性重新配置预先训练的pointcolumns网络点柱目标探测器对象进行迁移学习。指定新的对象类和相应的锚定框,以便在新数据集上训练网络。

训练pointcolumns对象检测器并执行对象检测

使用trainPointPillarsObjectDetector函数来训练点网络。要在经过训练的点柱网络上执行对象检测,请使用发现作用有关如何培训PointPillars网络的更多信息,请参阅基于点柱深度学习的激光雷达三维目标检测.

代码生成

要了解如何为PointPillars网络生成CUDA®代码,请参阅使用PointPillars深度学习用于激光雷达目标检测的代码生成.

参考文献

[1] 朗、亚历克斯H、苏拉布·沃拉、霍尔格·凯撒、周鲁平、杨炯和奥斯卡·贝杰博姆。“点柱:用于点云目标检测的快速编码器”中2019年IEEE/CVF计算机视觉和模式识别会议(CVPR), 12689–97. 美国加利福尼亚州长滩:IEEE,2019年。https://doi.org/10.1109/CVPR.2019.01298.

Hesai和Scale。PandaSet。https://scale.com/open-datasets/pandaset.

另见

应用程序

物体

功能

相关实例

更多关于