PointPillars是一种使用二维卷积层进行三维目标检测的方法。PointPillars网络有一个可学习的编码器,它使用点网学习以支柱(垂直柱)组织的点云表示。然后,该网络运行二维卷积神经网络(CNN)生成网络预测,解码预测,并为不同对象类(如汽车、卡车和行人)生成三维边界框。
点支柱网络有以下几个主要阶段。
使用特征编码器将点云转换为稀疏伪图像。
使用二维卷积主干将伪图像处理为高级表示。
使用检测头检测并回归三维边界框。
点支柱网络需要两个输入:支柱索引作为P-by-2和支柱的特点是P-借-N-借-K矩阵P是网络中的支柱数量,N是每个支柱的点数,以及K是特征尺寸。
网络从一个特征编码器开始,这是一个简化的点网。它包含一系列卷积、批处理规范和relu层,然后是最大池层。末端的散射层使用支柱索引将提取的特征映射到二维空间。
接下来,网络具有由编码器-解码器块组成的二维CNN主干。每个编码器块由卷积、批处理范数和relu层组成,以提取不同空间分辨率的特征。每个解码器块由转置卷积、批处理范数和relu层组成。金宝搏官方网站
然后,网络在每个解码器块的末尾连接输出特征,并将这些特征通过六个具有卷积层和S形层的检测头来预测占用率、位置、大小、角度、航向和类别。
你可以使用深度网络设计器(深度学习工具箱)应用程序以交互方式创建深度学习网络。要以编程方式创建PointPillars网络,请使用点柱目标探测器
对象。
属性重新配置预先训练的pointcolumns网络点柱目标探测器
对象进行迁移学习。指定新的对象类和相应的锚定框,以便在新数据集上训练网络。
使用trainPointPillarsObjectDetector
函数来训练点网络。要在经过训练的点柱网络上执行对象检测,请使用发现
作用有关如何培训PointPillars网络的更多信息,请参阅基于点柱深度学习的激光雷达三维目标检测.
要了解如何为PointPillars网络生成CUDA®代码,请参阅使用PointPillars深度学习用于激光雷达目标检测的代码生成.
[1] 朗、亚历克斯H、苏拉布·沃拉、霍尔格·凯撒、周鲁平、杨炯和奥斯卡·贝杰博姆。“点柱:用于点云目标检测的快速编码器”中2019年IEEE/CVF计算机视觉和模式识别会议(CVPR), 12689–97. 美国加利福尼亚州长滩:IEEE,2019年。https://doi.org/10.1109/CVPR.2019.01298.
Hesai和Scale。PandaSet。https://scale.com/open-datasets/pandaset.