这个图片标识,视频贴标机和地面实况贴标签机(自动驾驶工具箱)应用程序允许你手动分配像素标签。每个像素最多可以有一个像素标签。标签用于创建基础真值数据,用于训练语义分割算法。
首先将图像、视频或图像序列加载到标签应用程序中,并定义像素ROI标签。欲了解更多详情,请参阅:
图片标识—开始使用图像标签
视频贴标机—开始使用视频标签
地面实况贴标签机—开始使用Ground Truth标签(自动驾驶工具箱)
此示例显示使用图片标识.使用相同的工具来标记视频和图像序列视频贴标机或地面实况贴标签机.
控件中选择像素标签定义ROI标签窗玻璃A.标签像素选项卡打开,其中包含使用多边形、笔刷或整体填充手动标记像素的工具。您可以按任何顺序使用标签工具。此选项卡还具有通过缩放和平移调整图像显示以及调整标签不透明度的控件。
这个例子使用了两种通用策略来标记公路图像中的像素:
首先使用半自动化工具,例如洪水填满,超像素和智能多边形这个n, refine the labels using tools that offer more direct control, such as多边形,协助徒手画的和刷.
首先用对象边界的粗略估计标记远处的对象。然后,用更精确的对象边界标记更近的对象。
这个洪水填满工具为一组具有相似颜色的连接像素添加标签。在这张图片中,天空是洪水填充的一个很好的候选者,因为明亮天空的边界在黑暗植被和立交桥的衬托下清晰可见。相比之下,洪水填充无法隔离植被,因为植被的颜色与相邻的屏障、道路和车辆过于相似。
使用洪水填满:
选择工具和标签。指针变为油漆罐.
单击图像中的起始像素。
按可撤消整体填充或任何其他标记操作Ctrl+Z.
这个超像素工具标签的部分可调整大小的网格像素。它能让你快速定义场景中的对象。这个超像素在创建像素标签定义后,工具条中将显示。
使用超像素:
选择超像素工具条中的工具。应用程序在图像上创建超级像素网格布局。可以使用更改栅格分辨率网格计算滑块。
选择预定义的像素标签定义,然后左键单击栅格以将其选中。网格的颜色将更改,以与所选像素标签的颜色相匹配。通过左键单击每个网格或按住鼠标左键并连续移动指针,可以选择多个网格。在标记过程中,可以随时使用细化工具修改选择。
修改网格计算,当你标记时,根据需要最好地捕捉一个区域。例如,要标记较大的区域,可以降低网格数。为了更准确地捕捉区域的边缘,可以增加网格计数。
这个智能多边形该工具估计所绘制多边形内感兴趣对象的形状。当对象的形状不是简单多边形时,该工具非常有用。本例使用智能多边形给植被做标签,因为植被与天空的边界很复杂。
使用智能多边形:
选择工具和标签。指针变成了十字准星.
单击以添加多边形顶点。完全围绕感兴趣的对象,在对象和多边形之间留有一些空间。
放置其他顶点后,通过单击第一个顶点关闭多边形。或者,可以双击以添加最后一个顶点,然后一步关闭多边形。
关闭多边形后,工具绘制初始标签。
调整多边形的形状和位置。当感兴趣的对象延伸到图像边缘时,将顶点拖动到图像边缘,以确保智能多边形完全包围对象。例如,此示例显示了放置在图像左边缘的两个最左侧顶点。
智能多边形动作
目标 | 控制 |
---|---|
移动顶点 | 单击并拖动顶点。 |
添加顶点 |
|
删除顶点 | 右键单击顶点并选择删除顶点. |
移动多边形 | 单击并拖动多边形边界上的任意点(顶点除外)。 |
删除多边形 | 右键单击多边形边界并选择删除多边形. |
使用智能多边形编辑器改进标签的工具。
选择马克前景标记要标记的区域内的区域。前景标记显示为绿色。
选择标记背景标记区域内不想标记的区域。背景标记显示为红色。
选择抹去痕迹删除不再需要的前景或背景标记。
看见提示有关使用智能多边形工具。
要完成标签,请按进来或者从列表中选择一个新标签ROI标签窗格。您不再可以编辑多边形顶点或标记前景和背景区域。
这个多边形该工具将标记绘制多边形内的所有像素。控件的控件类似于定义和调整多边形顶点的控件智能多边形工具。
在障碍物和道路等结构上添加额外的多边形。许多车辆像素被错误地标记。下一步展示如何用正确的标签替换错误的标签。
这个协助徒手画的工具使您能够绘制一个ROI,自动跟踪基础图像中的主题边缘。您还可以使用鼠标来调整ROI的大小和位置。
每个像素最多可以有一个像素标签。当将标签应用于像素时,新标签将取代前一个标签。
此示例使用智能多边形用于标记属于卡车的像素的工具。前景标记指定车辆标签亚区。背景标记将子区域恢复到它们的前一个标签。例如,在前一对图像中,背景标记将子区域恢复为天空和植被标签。同样,在第二对图像中,背景标记将子区域恢复为路标签
卡车的边界是锯齿状的,因为智能多边形标记整个子区域,而不是单个像素。下一步显示如何沿卡车边界细化标签。
这个刷使用鼠标在图像上绘制时,工具会标记像素刷清除道路上的马刺,使卡车边缘更光滑。
使用刷:
选择工具和标签。指针变成了笔,并显示一个正方形以指示笔刷的大小。
调整画笔的大小使用画笔大小滑块。
单击并拖动鼠标以标记像素。
这个擦除使用鼠标在图像上绘制时,该工具将删除像素标签。
您可以修改图像的视图以便于进行像素标记。这个放大,缩小和平锅选项使您能够使用鼠标缩放和平移图像。要恢复像素标记,请单击标签图标。
这个标签不透明度滑块调整所有像素标签的不透明度。
降低不透明度以更清晰地查看图像。例如,降低不透明度,以便更容易找到汽车底部和道路之间的边界。
增加不透明度以更清楚地看到分割。例如,增加不透明度,以看到沿着汽车前保险杠的边缘应该是平滑的。另外,观察障碍物和一些远处的车辆有未标记的像素。
这是标记为图像的最终像素。
这个智能多边形该工具通过使用基于区域图的分割(“GrabCut”)来识别感兴趣的对象[1]这个智能多边形工具将图像分为多个子区域。该工具将完全或部分位于多边形外部的所有子面域视为属于背景。因此,要获得最佳分割,请确保要标记的对象完全包含在多边形中,周围有一些背景像素。
子区域内的所有像素具有相同的标签。标记多边形外部的像素对标签没有影响。
要删除最近标记的ROI,请按Ctrl+Z。要删除帧中的所有像素,请按Ctrl + Shift +删除.
要在一帧中剪切或复制所有像素,请按Ctrl+Shift+X或Ctrl+Shift+C. 要粘贴剪切或复制的像素,请按Ctrl+Shift+V.
每个像素最多可以有一个像素标签。当将标签应用于像素时,新标签将取代前一个标签。
当您平移和缩放图像时,像素标记将被禁用。你必须按标签按钮恢复像素标签。
要确保图像中的所有像素都已标记,首先要用单个标签标记整个图像。选择一个代表图像中主要ROI的标签,例如天空,路或出身背景. 然后,使用标签工具以正确的标签重新标记对象。
要填充所有或所有剩余像素,请从列表中选择ROI标签并按下按住Shift键并单击(可以使用左键或右键单击)。
[1] Rother, C., V. Kolmogorov和A. Blake。“GrabCut -使用迭代图切割的交互式前景提取”。图形上的ACM事务(SIGGRAPH). 2004年第23卷第3期,第309-314页。