主要内容

标签像素的语义分割

图片标志贴标签机视频,地面实况贴标签机(自动驾驶工具箱)应用程序允许您手动分配像素标签。每个像素最多可以有一个像素标签。这些标签用于创建ground truth数据,用于训练语义分割算法。

开始像素标签

首先,将图像、视频或图像序列加载到标签应用程序中,并定义像素ROI标签。详情请参阅:

控件的像素标记图片标志.控件使用相同的工具来标记视频和图像序列贴标签机视频地面实况贴标签机

控件中选择像素标签定义ROI标签窗格。一个标签像素选项卡打开,包含使用多边形、笔刷或洪水填充手动标记像素的工具。您可以以任何顺序使用标签工具。该选项卡还可以通过缩放和平移来调整图像的显示,以及调整标签的不透明度。

这个例子使用了两种通用策略来标记高速公路图像中的像素:

  • 首先使用半自动工具,比如洪水填满超像素,聪明的多边形.然后,使用提供更直接控制的工具来细化标签,例如多边形协助徒手画的

  • 首先用物体边界的粗略估计标记远处的物体。然后,用更精确的物体边界标记较近的物体。

使用洪水填充工具标记像素

洪水填满工具标记一组具有相似颜色的连接像素。在这张图片中,天空是一个很好的洪水填充候选者,因为在黑暗的植被和天桥的映衬下,明亮天空的边界是清晰的。相比之下,洪水填充物无法隔离植被,因为植被的颜色与相邻的障碍物、道路和车辆太相似了。

使用标签像素洪水填满

  1. 选择工具和标签。指针变成了一个颜料罐

  2. 单击图像中的起始像素。

您可以撤消洪水填充,或任何其他标签操作,按下Ctrl + Z

使用超像素工具标记像素

超像素工具标签的像素可调整大小的网格部分。它使您能够快速定义场景中的对象。的超像素工具将在创建像素标签定义后出现在工具条中。

使用标签像素超像素

  1. 选择超像素工具条中的工具。该应用程序在图像上创建一个超像素网格布局。控件可以更改网格分辨率网格计算滑块。

  2. 选择一个预定义的像素标签定义,然后左键单击一个网格来选择它。网格的颜色将更改为与所选像素标签的颜色相匹配。您可以通过单击每个网格或按住鼠标左键并连续移动鼠标来选择多个网格。使用精炼工具在标记期间随时修改选择。

  3. 修改网格计算,当你标记时,根据需要最好地捕捉一个区域。例如,要标记大面积区域,就要降低网格计数。为了更准确地捕获一个区域的边缘,增加网格计数。

使用智能多边形工具标记像素

聪明的多边形工具估计您所画的多边形内感兴趣的对象的形状。当对象的形状不是一个简单的多边形时,该工具是有用的。这个示例使用聪明的多边形为了标注植被,它与天空有着复杂的边界。

使用标签像素聪明的多边形

  1. 选择工具和标签。指针变为十字线

  2. 单击以添加多边形顶点。完全包围感兴趣的对象,在对象和多边形之间留出一些空间。

  3. 在放置其他顶点后,单击第一个顶点关闭多边形。或者,您可以双击添加最后一个顶点并在一个步骤中关闭多边形。

    关闭多边形后,该工具将绘制一个初始标签。

  4. 调整多边形的形状和位置。当感兴趣的对象延伸到图像的边缘时,将顶点拖动到图像的边缘,以确保智能多边形完全包围该对象。例如,这个例子显示了放置在图像左边缘的最左边的两个顶点。

    聪明的多边形的行为

    目标 控制
    移动顶点 点击并拖动顶点。
    添加顶点

    • 在新顶点位置右击多边形边界,并选择添加点

    • 双击边界上的点。

    删除顶点 右键单击顶点并选择删除顶点
    移动多边形 点击并拖动多边形边界上的任何一点(不包括顶点)。
    删除多边形 右键单击多边形边界并选择删除多边形

  5. 使用聪明的多边形编辑器改进标签的工具。

    • 选择马克前景在要标记的区域内标记区域。前景标记显示为绿色。

    • 选择马克的背景标记不想标记的区域内的区域。背景标记显示为红色。

    • 选择抹去痕迹删除不再需要的前景或背景标记。

    • 看到提示的其他建议聪明的多边形工具。

  6. 完成标签,按输入中选择一个新标签ROI标签窗格。您不能再编辑多边形顶点或标记前景和背景区域。

使用多边形工具标记像素

多边形工具在你画的多边形内标记所有像素。定义和调整多边形顶点的控件类似于聪明的多边形工具。

在障碍物和道路等结构上添加额外的多边形。许多车辆像素被错误地标记。下一步演示如何用正确的标签替换错误的标签。

使用辅助徒手工具标记像素

协助徒手画的工具使您能够绘制一个ROI,自动跟随主题的边缘在底层图像。您也可以通过使用鼠标来调整ROI的大小和位置。

替换像素标签

每个像素最多可以有一个像素标签。当您将一个标签应用到一个像素时,新标签将替换先前的标签。

此示例使用聪明的多边形工具来标记像素属于卡车。前台标记为车辆标签亚区。背景标记将子区域还原为它们先前的标签。例如,在第一对图像中,背景标记将子区域还原为天空植被标签。类似地,在第二对图像中,背景标记将子区域还原为标签。

卡车的边界参差不齐是因为聪明的多边形标记整个子区域,而不是单个像素。下一步展示了如何改进沿卡车边界的标签。

使用笔刷工具完善标签

当你用鼠标在图像上绘制时,工具标签像素。这个示例使用除去道路上的马刺,使卡车的边缘更平滑。

使用标签像素

  1. 选择工具和标签。指针变为钢笔,一个正方形显示画笔的大小。

  2. 调整画笔的大小使用画笔大小滑块。

  3. 单击并拖动鼠标来标记像素。

擦除当您用鼠标在图像上绘制时,该工具将删除像素标签。

可视化像素标签

您可以修改图像的视图,以方便像素标记。的放大缩小,选项允许您使用鼠标缩放和平移图像。若要恢复像素标记,请单击标签图标。

标签不透明度滑块调整所有像素标签的不透明度。

  • 降低不透明度,使图像看得更清楚。例如,减少不透明度,使其更容易找到汽车底部和道路之间的边界。

  • 增加不透明度以更清楚地看到分割。例如,增加不透明度,以看到沿汽车前保险杠的边缘应该是平滑的。另外,观察障碍物和一些远处的车辆有未标记的像素。

这是最后的像素标记图像。

提示

  • 聪明的多边形工具通过使用基于区域图的分割来识别感兴趣的对象(“GrabCut”)[1].的聪明的多边形工具将图像划分为子区域。该工具将多边形全部或部分外部的所有子区域视为属于背景。因此,为了获得最佳分割,要确保被标记的对象完全包含在多边形中,被几个背景像素包围。

    子区域内的所有像素都有相同的标签。在多边形外标记像素对标签没有影响。

  • 要删除最近标记的ROI,请按Ctrl + Z.要删除帧中的所有像素,请按Ctrl + Shift +删除

  • 要剪切或复制帧中的所有像素,按Ctrl + Shift + XCtrl + Shift + C.粘贴剪切或复制的像素,按Ctrl + Shift + V

  • 每个像素最多可以有一个像素标签。当您将一个标签应用到一个像素时,新标签将替换先前的标签。

  • 当你平移和缩放图像时,像素标记被禁用。您必须单击标签按钮恢复像素标记。

  • 为了确保图像中的所有像素都被标记,首先用一个标签标记整个图像。选择一个代表图像中主要ROI的标签,例如天空,或背景.然后,使用标签工具用正确的标签重新标记对象。

  • 要填充所有或所有剩余的像素,从列表中选择一个ROI标签并按下Shift +点击(您可以使用左或右击)。

参考文献

Rother, C., V. Kolmogorov,和A. Blake。“抓取-交互式前景提取使用迭代图割”。ACM图形学报(SIGGRAPH).第23卷,第3期,2004,第309-314页。

另请参阅

||(自动驾驶工具箱)

相关的话题