主要内容

标记像素用于语义分割

图像贴标器视频贴图,地面实况贴标签机(自动驾驶工具箱)应用程序允许你手动分配像素标签。每个像素最多可以有一个像素标签。标签用于创建基础真值数据,用于训练语义分割算法。

开始像素标签

首先将图像、视频或图像序列加载到标签应用程序中,并定义像素ROI标签。欲了解更多详情,请参阅:

此示例显示了像素标记图像贴标器.使用相同的工具来标记视频和图像序列视频贴图地面实况贴标签机

控件中选择像素标签定义ROI标签窗格。一种标签像素选项卡将打开,包含使用多边形,刷子或洪水填充手动标记像素的工具。您可以按任何顺序使用标签工具。此选项卡还通过缩放和平移并调整标签的不透明度来调整图像的显示。

这个例子使用了两种通用策略来标记公路图像中的像素:

  • 首先使用半自动工具,如洪水填满超像素,智能多边形.然后,使用提供更直接控制的工具来改进标签,例如多边形协助徒手画的

  • 第一个用物体边界的粗略估计来标记远处的物体。然后,用更精确的对象边界标记更近的对象。

使用泛色填充工具标记像素

洪水填满工具将一组具有相似颜色的连接像素进行标记。在这张图片中,天空是一个很好的洪水填充的候选者,因为明亮的天空的边界在黑暗的植被和天桥的衬托下是清晰的。相比之下,洪水填筑不能隔离植被,因为植被的颜色与邻近的障碍物、道路和车辆太相似了。

使用的标记像素洪水填满

  1. 选择工具和标签。指针更改为油漆可以

  2. 单击图像中的起始像素。

通过按下,可以撤消填充填充或任何其他标记操作Ctrl + Z

使用Superpixel工具标记像素

超像素工具标签的部分可调整大小的网格像素。它能让你快速定义场景中的对象。这超像素在创建像素标签定义后,工具条中将显示。

使用的标记像素超像素

  1. 选择超像素工具臂的工具。该应用程序在图像上创建超像素网格布局。您可以使用该网格分辨率网格计算滑块。

  2. 选择预定义的像素标签定义,然后左键单击网格以选择它。网格的颜色更改为匹配您选择的像素标签的颜色。您可以通过左键单击每个网格或按住鼠标左键选择多个网格并连续移动指针。使用炼油工具在标签期间随时修改选择。

  3. 修改网格计算,当你标记时,根据需要最好地捕捉一个区域。例如,要标记较大的区域,可以降低网格数。为了更准确地捕捉区域的边缘,可以增加网格计数。

使用智能多边形工具标记像素

智能多边形这个工具可以估计所绘制的多边形中感兴趣的对象的形状。当物体的形状不是一个简单的多边形时,这个工具是有用的。这个示例使用智能多边形给植被做标签,因为植被与天空的边界很复杂。

使用的标记像素智能多边形

  1. 选择工具和标签。指针变成了十字准星

  2. 单击以添加多边形顶点。完全围绕着感兴趣的对象,在物体和多边形之间存在一些空间。

  3. 在放置另一个顶点后,通过单击第一个顶点关闭多边形。或者,您可以双击以在一步中添加最后一个顶点并关闭多边形。

    关闭多边形后,工具绘制初始标签。

  4. 调整多边形的形状和位置。当感兴趣的对象扩展到图像的边缘时,将顶点拖动到图像的边缘,以确保智能多边形完全包围对象。例如,该示例显示放置在图像左边缘的最左边的顶点。

    聪明的多边形的行为

    目标 控制
    移动顶点 单击并拖动顶点。
    添加顶点

    • 右键单击新顶点位置的多边形边界,然后选择添加点

    • 双击边界上的点。

    删除顶点 右键单击顶点并选择删除顶点
    移动多边形 单击并拖动多边形边界上的任何点(不包括顶点)。
    删除多边形 右键单击多边形边界并选择删除多边形

  5. 使用智能多边形编辑器改进标签的工具。

    • 选择马克前景标记您想要标记的区域内的区域。前景标记出现在绿色。

    • 选择马克的背景在您不想标记的区域内标记区域。背景标记显示为红色。

    • 选择抹去痕迹删除不再需要的前景或背景标记。

    • 提示有关使用的其他建议智能多边形工具。

  6. 要完成标签,请按进入或选择一个新标签ROI标签窗格。您不再可以编辑多边形顶点或标记前景和背景区域。

使用多边形工具标记像素

多边形该工具将标记绘制多边形内的所有像素。控件的控件类似于定义和调整多边形顶点的控件智能多边形工具。

在障碍物和道路等结构上添加额外的多边形。许多车辆像素被错误地标记。下一步展示如何用正确的标签替换错误的标签。

使用辅助手工工具标记像素

协助徒手画的工具使您能够绘制一个ROI,自动跟踪基础图像中的主题边缘。您还可以使用鼠标来调整ROI的大小和位置。

替换像素标签

每个像素最多可以有一个像素标签。当将标签应用于像素时,新标签将取代前一个标签。

此示例使用智能多边形工具标记属于卡车的像素。前景标记分配车辆标签亚区。背景标记将子区域恢复到它们的前一个标签。例如,在前一对图像中,背景标记将子区域恢复为天空植被标签。同样,在第二对图像中,背景标记将子区域恢复为标签。

卡车的边缘是锯齿状的,因为智能多边形标签整个子区域,而不是单个像素。下一步显示了如何沿着卡车边界改进标签。

使用刷子工具改进标签

当你用鼠标在图像上绘制时,工具会标记像素。这个示例使用从道路上移除马刺并使卡车的边缘更平稳。

使用的标记像素

  1. 选择工具和标签。指针变为笔,一个正方形显示画笔的大小。

  2. 调整画笔的大小使用画笔大小滑块。

  3. 点击并拖动鼠标以标记像素。

擦拭使用鼠标绘制图像时,工具会删除像素标签。

可视化像素标签

您可以修改图像的视图以促进像素标记。这放大缩小,平底锅选项使您可以使用鼠标缩放和平移图像。要恢复像素标签,请单击“标签图标。

标签不透明度滑块调整所有像素标签的不透明度。

  • 减少不透明度,更清楚地看到图像。例如,减少不透明度,以便更容易找到汽车底部和道路之间的边界。

  • 增加不透明度以更清楚地看到分割。例如,增加不透明度,以看到沿着汽车前保险杠的边缘应该是平滑的。另外,观察障碍物和一些远处的车辆有未标记的像素。

这是最终的像素标记图像。

提示

  • 智能多边形工具通过使用基于区域图形的分段(“grabcut”)来识别感兴趣的对象[1].这智能多边形工具将图像划分为子区域。该工具处理完全或部分在多边形之外的所有子区域,属于背景。因此,要获得最佳分割,请确保要标记的对象完全包含在多边形内,由几个背景像素包围。

    子区域中的所有像素都具有相同的标签。在多边形外的标记像素对标签没有影响。

  • 要删除最近标记的ROI,请按Ctrl + Z.要删除帧中的所有像素,请按Ctrl + Shift +删除

  • 要在一帧中剪切或复制所有像素,请按Ctrl + Shift + XCtrl + Shift + C.粘贴剪切或复制的像素,按Ctrl + Shift + V

  • 每个像素最多可以有一个像素标签。当将标签应用于像素时,新标签将取代前一个标签。

  • 当您平移和缩放图像时,像素标记将被禁用。你必须按标签按钮恢复像素标签。

  • 要确保图像中的所有像素都已标记,首先要用单个标签标记整个图像。选择一个代表图像中主要ROI的标签,例如天空, 或者背景.然后,使用标签工具以正确的标签重新标记对象。

  • 要填充所有或所有剩余像素,请从列表中选择ROI标签并按下Shift +点击(您可以使用左或右击)。

参考文献

[1] Rother, C., V. Kolmogorov和A. Blake。“GrabCut -使用迭代图切割的交互式前景提取”。图形上的ACM事务(Siggraph).卷。23,第3,204,2004,第309-314页。

也可以看看

||(自动驾驶工具箱)

相关的话题