主要内容

このページの翻訳は最新ではありません。ここをクリックして,英語の最新版を参照してください。

セマンティックセグメンテーションのピクセルのラベル付け

イメージラベラービデオラベラーグラウンドトゥルースラベラー(自动驾驶工具箱)(自动驾驶工具箱™が必要)アプリでピクセルのラベルを手動で割り当てます。各ピクセルは最大1つのピクセルのラベルを持つことができます。ラベルは,セマンティックセグメンテーションアルゴリズムの学習用のグラウンドトゥルースデータを作成するために使用します。

ピクセルのラベル付けの開始

最初に,イメージ,ビデオ,またはイメージシーケンスをラベル付けアプリに読み込んで,ピクセルのROIラベルを定義します。詳細は,次を参照してください。

この例では,イメージラベラーを使用したピクセルのラベル付けを示します。ビデオラベラーまたはグラウンドトゥルースラベラーでビデオやイメージシーケンスにラベルを付けるには,同じツールを使用します。

(ROIラベルの定義]ペインからピクセルのラベル定義を選択します。多角形,ブラシまたは塗りつぶしを使用してピクセルに手動でラベルを付けるツールを含む[ピクセルのラベル付け]タブが開きます。ラベル付けツールを任意の順番で使用できます。このタブには,ズームやパンによってイメージの表示を調整したり,ラベルの不透明度を調整するためのコントロールもあります。

この例では2つの一般的な方法を使用して高速道路のイメージのピクセルにラベルを付けます。

  • 最初に[塗りつぶし]および[スマートポリゴン]などの半自動ツールを使用します。次に,[多角形][補助付きフリーハンド]および[ブラシ]などのより直接的な制御を提供するツールを使用してラベルを調整します。

  • 最初にオブジェクトの境界が大まかに推定される遠くのオブジェクトにラベルを付けます。次に,オブジェクト境界がより正確な近くのオブジェクトにラベルを付けます。

塗りつぶしツールを使用したピクセルのラベル付け

[塗りつぶし]ツールは,類似色をもつ接続されたピクセルのグループにラベルを付けます。このイメージでは,明るい空の境界は暗い色の植生および陸橋に対して明確であるため,空は塗りつぶしの適切な候補です。対照的に,植生の色は隣接するフェンス,道路および車両と差がほとんどないため,塗りつぶしで植生を分離することはできません。

[塗りつぶし]を使用してピクセルにラベルを付けるには,次を行います。

  1. ツールおよびラベルを選択します。ポインターが塗料缶に変わります。

  2. イメージの開始ピクセルをクリックします。

Ctrl + Zを押すと,塗りつぶしまたはその他のラベル付け操作を取り消すことができます。

スマートポリゴンツールを使用したピクセルのラベル付け

[スマートポリゴン]ツールは,描画する多角形内の対象オブジェクトの形状を推定します。オブジェクトの形状がシンプルな多角形ではない場合,このツールは便利です。この例では,[スマートポリゴン]を使用して,空に対して複雑な境界を持つ植生にラベルを付けます。

[スマートポリゴン]を使用してピクセルにラベルを付けるには,次を行います。

  1. ツールおよびラベルを選択します。ポインターが十字に変わります。

  2. クリックして多角形の頂点を追加します。オブジェクトおよび多角形の間にスペースを空けて,対象オブジェクトを完全に囲みます。

  3. 他の頂点を配置した後に最初の頂点をクリックして,多角形を閉じます。またはダブルクリックして最後の頂点を追加し、1 ステップで多角形を閉じることができます。

    多角形を閉じると,ツールは初期ラベルを描画します。

  4. 多角形の形状と位置を調整します。対象オブジェクトがイメージの端まで拡張している場合,頂点をイメージの端までドラッグして,スマートポリゴンがオブジェクトを完全に囲むようにします。たとえば,この例はイメージの左端に配置されている左端の2つの頂点を示します。

    スマートポリゴンの操作

    目的 コントロール
    頂点の移動 頂点をクリックしてドラッグします。
    頂点の追加

    • 新しい頂点の位置にある多角形の境界を右クリックし,(点の追加)を選択します。

    • 境界上の点をダブルクリックします。

    頂点の削除 頂点を右クリックし,[頂点の削除)を選択します。
    多角形の移動 多角形の境界上の任意の点(頂点を除く)をクリックしてドラッグします。
    多角形の削除 多角形の境界を右クリックし,(多角形の削除)を選択します。

  5. [スマートポリゴンエディター]ツールを使用してラベルを調整します。

    • (前景をマーク]を選択してラベルを付ける領域内の領域にマークします。前景マークは緑で表示されます。

    • (背景をマーク]を選択してラベルを付けない領域内の領域にマークします。背景マークは赤で表示されます。

    • [マークを消去)を選択して不要になった前景マークまたは背景マークを削除します。

    • [スマートポリゴン]ツールの使用に関する他の提案については,ヒントを参照してください。

  6. ラベルを完成させるには,输入キーを押すか,新しい(ROIラベルの定義]を選択します。多角形の頂点を編集したり,前景領域および背景領域にマークしたりできなくなります。

多角形ツールを使用したピクセルのラベル付け

[多角形]ツールは,描画する多角形内のすべてのピクセルにラベルを付けます。多角形の頂点を定義および調整するためのコントロールは,[スマートポリゴン]ツールのコントロールと同様です。

フェンスや道路などの構造物上にさらに多角形を追加します。多くの車両のピクセルには誤ったラベルが付いています。次の手順では,誤ったラベルを正しいラベルに置き換える方法を示します。

補助付きフリーハンドツールを使用したピクセルのラベル付け

[補助付きフリーハンド]ツールを使用すると,ベースのイメージ内の被写体のエッジに自動的に従うROIを描画できます。また,マウスを使用して,ROIのサイズと位置を調整することもできます。

ピクセルのラベルの置き換え

各ピクセルは最大1つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると,新しいラベルで前のラベルが置き換えられます。

この例では,[スマートポリゴン]ツールを使用してトラックに属するピクセルにラベルを付けます。前景マークは“車両”ラベルを部分領域に割り当てます。背景マークは部分領域を前のラベルに戻します。たとえば,最初のイメージのペアでは,背景マークは部分領域を“空”および“植生”のラベルに戻します。同様に2番目のイメージのペアでは,背景マークは部分領域を“道路”のラベルに戻します。

[スマートポリゴン]は個々のピクセルではなく部分領域全体にラベルを付けるため,トラックの境界はギザギザです。次の手順では,ラベルをトラックの境界に合わせて調整する方法を示します。

ブラシツールを使用したラベルの調整

[ブラシ]ツールは,マウスでイメージに描画するときにピクセルにラベルを付けます。この例では,[ブラシ]を使用して道路からスパーを削除して,トラックの端を滑らかにします。

[ブラシ]を使用してピクセルにラベルを付けるには,次を行います。

  1. ツールおよびラベルを選択します。ポインターがペンに変わり,四角が表示されてブラシのサイズを示します。

  2. [ブラシサイズ]スライダーを使用してブラシのサイズを調整します。

  3. マウスをクリックアンドドラッグして,ピクセルにラベルを付けます。

[消去]ツールは,マウスでイメージに描画するときにピクセルのラベルを削除します。

ピクセルのラベルの可視化

イメージのビューを変更して,ピクセルのラベル付けを簡素化できます。[ズームイン][ズームアウト],および[パン]オプションを使用すると,マウスでイメージをズームおよびパンすることができます。ピクセルのラベル付けを再開するには,[ラベル]アイコンをクリックします。

[ラベルの不透明度),スライダーですべてのピクセルラベルの不透明度を調整します。

  • イメージをより明確に表示するには,不透明度を小さくします。たとえば,不透明度を小さくすると車の下部と道路の間の境界がわかりやすくなります。

  • セグメンテーションをより明確に表示するには,不透明度を大きくします。たとえば,不透明度を大きくすると車のフロントバンパーに沿った端が滑らかになります。また,フェンスおよび遠くにある数台の車両のピクセルにはラベルが付いていないことがわかります。

これが最後のピクセルラベル付きイメージです。

ヒント

  • [スマートポリゴン]ツールは,局所的グラフに基づくセグメンテーション(GrabCut)を使用して対象オブジェクトを特定します[1][スマートポリゴン]ツールは,イメージを部分領域に分割します。ツールは,多角形の外側に完全または部分的にあるすべての部分領域を背景に所属するものとして扱います。したがって,最適なセグメンテーションを取得するには,ラベル付けされるオブジェクトがいくつかの背景のピクセルに囲まれていて,多角形に完全に含まれていることを確認します。

    部分領域内のすべてのピクセルに同じラベルが付いています。多角形の外側のピクセルをマークしても,ラベルに影響を与えません。

  • 最後にラベル付けしたROIを削除するには,Ctrl + Zを押します。フレーム内のすべてのピクセルを削除するには,Ctrl + Shift +删除を押します。

  • フレーム内のすべてのピクセルを切り取りまたはコピーするには,Ctrl + Shift + XまたはCtrl + Shift + Cを押します。切り取ったまたはコピーしたピクセルを貼り付けるには,Ctrl + Shift + Vを押します。

  • 各ピクセルは最大1つのピクセルのラベルを持つことができます。ラベルをピクセルに適用すると,新しいラベルで前のラベルが置き換えられます。

  • イメージをパンおよびズームするときは,ピクセルのラベル付けは無効になります。ピクセルのラベル付けを再開するには,[ラベル]ボタンをクリックしなければなりません。

  • イメージ内のすべてのピクセルに確実にラベルを付けるには,イメージ全体に1つのラベルを付けます。"空"、"道路"または“背景”などのイメージの主要なROIを表すラベルを選択します。次に,ラベル付けツールを使用してオブジェクトに正しいラベルを再度付けます。

  • すべてのピクセル,または残りのすべてのピクセルを塗りつぶすには,リストからROIラベルを選択し,转变キーを押しながらクリック(左クリックまたは右クリックを使用可能)します。

参照

Rother, C., V. Kolmogorov,和A. Blake。“抓取-交互式前景提取使用迭代图割”。ACM图形学报(SIGGRAPH).第23卷,第3期,2004,第309-314页。

参考

||(自动驾驶工具箱)

関連するトピック