领域固有の深层学习用途のためのデータの前处理

データの前処理は,学習,検証,および推論に使用されます。前処理は,目的のデータの特徴を正規化または強調する一連の確定的な演算で構成されます。たとえば,固定された範囲にデータを正規化したり,ネットワーク入力層に必要なサイズにデータを再スケーリングできます。

深層学習のワークフローでは,前処理は2つの段階で発生することがあります。

通常，前处理は，ネットワークに渡されるデータを准备する前に完了する个别の手顺として発生します。元のデータを読み込み，前处理演算を适用して，结果をディスクに保存します。この方法の利点は，前处理のオーバーヘッドが必要になるのは1回のみで，その后ネットワークの学习を试行する际には前处理されたイメージが开始点として既に用意されていることです。
データをデータストアに読み込むと，关数转变および関数结合を使用して,学習中に前処理を適用することもできます。詳細については,深层学习用のデータストアを参照してください。変換後のイメージはメモリに格納されません。この方法は,前処理演算に大量の計算が必要ではなく,ネットワークの学習速度に顕著な影響を与えない場合に,学習データの2つ目のコピーをディスクに書き込むことを回避するのに便利です。

データ拡張は,ネットワークの学習中に学習データに適用されるランダム化された演算で構成されます。拡張を行うと,学習データの実質的な量が増加し,ネットワークをデータの一般的な歪みに対して不変にするのに役立ちます。たとえば,学習データに人工的なノイズを追加してネットワークをノイズに対して不変にすることができます。

学習データを拡張するには,まずデータをデータストアに読み込みます。詳細については,深层学习用のデータストアを参照してください。いくつかの組み込みデータストアは,特定の用途の場合に特定の限られた拡張をデータに適用します。関数转变および関数结合を使用して，データストア内のデータに対して独自の拡张演算を适用することもできます。学习中，データストアによって各エポックの学习データにランダムに摂动が与えられるため，エポックごとにわずかに异なるデータセットが使用されます。

イメージ处理の使用例

イメージデータを拡张し，イメージの取得时のばらつきをシミュレーションします。たとえば，最も一般的なタイプのイメージ拡张演算は，シーンに対するカメラの向きのばらつきをシミュレーションする，回転や平行移动などの几何学的変换です。色のジッターは，シーンでのライティング条件と色のばらつきをシミュレーションします。人工的なノイズは，センサーの电気変动およびアナログからデジタルへの変换の误差によって生じる歪みをシミュレーションします。ブレは，フォーカスの合っていないレンズまたはシーンに対するカメラの动きをシミュレーションします。

一般的なイメージ前処理演算には,ノイズ除去,エッジ保存平滑化,色空間変換,コントラスト強調,モルフォロジーなどがあります。

图像处理工具箱™がある場合,これらの演算とツールボックスのその他の機能を使用して,データを処理できます。これらの変換を作成および適用する方法を説明する例については,深層学習ワークフローのための图像处理工具箱を使用したイメージ拡張を参照してください。

前処理のタイプ	説明	関数のサンプル
イメージのサイズ変更	固定の倍率，または目标のサイズにイメージのサイズを変更する	`imresize`（图像处理工具箱），`imresize3`（图像处理工具箱）
イメージのワープ	ランダムな反転,回転,スケール,せん断,および平行移動をイメージに適用する	`randomAffine2d`（图像处理工具箱），`randomAffine3d`（图像处理工具箱）
イメージのトリミング	中心またはランダムな位置からイメージを目标のサイズにトリミングする	`centerCropWindow2d`（图像处理工具箱），`centerCropWindow3d`（图像处理工具箱） `randomWindow2d`（图像处理工具箱），`randomCropWindow3d`（图像处理工具箱）
色のジッター	イメージの色相，彩度，明度，またはコントラストをランダムに调整する	`jitterColorHSV`（图像处理工具箱）
ノイズのシミュレーション	ランダムなガウスノイズ,ポアソンノイズ,ごま塩ノイズ,または乗法性ノイズを追加する	`imnoise`（图像处理工具箱）
ブレのシミュレーション	ガウスノイズまたは指向性運動によるブレを追加する	`imgaussfilt`（图像处理工具箱），`imgaussfilt3`（图像处理工具箱） `imfilter`（图像处理工具箱）

オブジェクトの検出

オブジェクト検出データは,イメージ,およびイメージ内のオブジェクトの位置と特性を示す境界ボックスで構成されます。

计算机视觉工具箱™がある場合,イメージラベラー(计算机视觉工具箱)アプリとビデオラベラー(计算机视觉工具箱)アプリを使用して，投资回报率に対话形式でラベルを付け，ニューラルネットワークに学习させるためのラベルデータをエクスポートできます夏芸驾驶工具箱™がある场合，グラウンドトゥルースラベラー(自动驾驶工具箱)アプリを使用してラベル付きグラウンドトゥルース学習データを作成することもできます。

イメージを変换する场合，対応する境界ボックスに対して同一の変换を実行しなければなりません。计算机视觉工具箱がある场合，表に示す演算を使用して境界ボックスを处理できます。これらの変换を作成および适用する方法を说明する例については，オブジェクト検出のための境界ボックスの拡張を参照してください。詳細については,深層学習を使用したオブジェクト検出入門(计算机视觉工具箱)を参照してください。

前処理のタイプ	説明	関数のサンプル
境界ボックスのサイズ変更	固定の倍率，または目标のサイズに境界ボックスのサイズを変更する	`bboxresize`(计算机视觉工具箱)
境界ボックスのトリミング	中心またはランダムな位置から境界ボックスを目标のサイズにトリミングする	`bboxcrop`(计算机视觉工具箱)
境界ボックスのワープ	反転，回転，スケール，せん断，および平行移动を境界ボックスに适用する	`bboxwarp`(计算机视觉工具箱)

セマンティックセグメンテーション

セマンティックセグメンテーションデータは,イメージ,および直言配列として表される対応するピクセルラベルで構成されます。

计算机视觉工具箱がある場合,イメージラベラー(计算机视觉工具箱)アプリとビデオラベラー(计算机视觉工具箱)アプリを使用して，ピクセルに対话形式でラベルを付け，ニューラルネットワークに学习させるためのラベルデータをエクスポートできます夏芸驾驶工具箱がある场合，グラウンドトゥルースラベラー(自动驾驶工具箱)アプリを使用してラベル付きグラウンドトゥルース学習データを作成することもできます。

イメージを変換する場合,対応するピクセルラベル付きイメージに対して同一の変換を実行しなければなりません。图像处理工具箱がある場合,表に示す関数,およびカテゴリカル入力をサポートするその他のツールボックス関数を使用して,ピクセルラベルイメージを処理できます。これらの変換を作成および適用する方法を説明する例については,セマンティックセグメンテーションのためのピクセルラベルの拡張を参照してください。詳細については,深層学習を使用したセマンティックセグメンテーション入門(计算机视觉工具箱)を参照してください。

前処理のタイプ	説明	関数のサンプル
ピクセルのラベルのサイズ変更	固定の倍率，または目标のサイズにピクセルラベルイメージのサイズを変更する	`imresize`（图像处理工具箱）
ピクセルラベルのトリミング	中心またはランダムな位置からピクセルラベルイメージを目標のサイズにトリミングする	`imcrop`（图像处理工具箱） `centerCropWindow2d`（图像处理工具箱），`centerCropWindow3d`（图像处理工具箱） `randomWindow2d`（图像处理工具箱），`randomCropWindow3d`（图像处理工具箱）
ピクセルラベルのワープ	ランダムな反転,回転,スケール,せん断,および平行移動をピクセルラベルイメージに適用する	`randomAffine2d`（图像处理工具箱），`randomAffine3d`（图像处理工具箱）

信号処理の使用例

信号处理工具箱™では，信号のノイズ除去，平滑化，トレンド除去，およびリサンプリングを行うことができます。ノイズ，マルチパスフェージング，およびパルスやチャープなどの合成信号で学习データを拡张できます。信号ラベラー（信号处理工具箱）アプリとlabeledSignalSet（信号处理工具箱）オブジェクトを使用して,ラベル付き信号セットを作成することもできます。これらの変換を作成および適用する方法を説明する例については,深层学习を使用した波形セグメンテーションを参照してください。

小波工具箱™と信号处理工具箱を使用すると,信号分類用途でイメージ入力として使用できる時系列データの2次元時間——周波数表現を生成できます。例については,ウェーブレット解析と深层学习を使用した时系列の分类を参照してください。同様に,信号データからシーケンスを抽出してLSTMネットワークの入力として使用できます。例については,長短期記憶ネットワークを使用した心电图信号の分類（信号处理工具箱）を参照してください。

通信工具箱™には拡張された信号処理機能があり,通信システムの誤り訂正,インターリーブ,変調,フィルター処理,同期,およびイコライズを実行できます。これらの変換を作成および適用する方法を説明する例については,深层学习による変调の分类を参照してください。

表に示す関数,および各ツールボックスのその他の機能を使用して,信号データを処理できます。

前処理のタイプ	説明	関数のサンプル
信号のクリーンアップ	信号にメディアンフィルターまたは移动平均を适用する多項式トレンドの削除信号を新しい固定レートにリサンプリングする	`medfilt1`（信号处理工具箱），`smoothdata` `消除趋势` `downsample`（信号处理工具箱），`插值函数`（信号处理工具箱），`upsample`（信号处理工具箱）
信号のフィルター処理	IIRおよび冷杉信号のローパス,ハイパス,およびバンドストップフィルター処理を実行する IIRおよび冷杉フィルターを設計する IIRおよびFIRフィルターを适用する	`带通`（信号处理工具箱），`带阻`（信号处理工具箱），`高通`（信号处理工具箱），`低通滤波器`（信号处理工具箱） `牛油`（信号处理工具箱），`designfilt`（信号处理工具箱），`fir1`（信号处理工具箱），`gaussdesign`（信号处理工具箱），`rcosdesign`（信号处理工具箱） `筛选`
信号の拡张	通信工具箱を使用して信号にホワイトガウスノイズを追加する信号の時間情報を調整し,通信工具箱を使用してマルチパスフェージングを実行する合成チャープと合成波形を追加する	`AWGN`（通讯工具箱） `尖声地说`（信号处理工具箱），`正方形`（信号处理工具箱），`rectpuls`（信号处理工具箱），`锯齿`（信号处理工具箱）
时间 - 周波数表现の作成	スペクトログラム，スカログラム，および1次元信号のその他の2次元表现を作成する	`pspectrum`（信号处理工具箱），`xspectrogram`（信号处理工具箱） `FSST`（信号处理工具箱），`ifsst`（信号处理工具箱） `stft`（信号处理工具箱），`istft`（信号处理工具箱） `类`(小波工具箱)
信号からの特徴の抽出	瞬時周波数とスペクトルエントロピーを推定する	`instfreq`（信号处理工具箱），`pentropy`（信号处理工具箱）

オーディオ処理の使用例

音频工具箱™には,オーディオ処理,音声分析,および音響測定を行うためのツールが用意されています。これらのツールを使用して聴覚的な特徴を抽出し,オーディオ信号を変換します。ランダム化された,または確定的な時間スケーリング,時間ストレッチ,およびピッチシフトでオーディオデータを拡張します。音频贴标签机(音频工具箱)アプリを使用してラベル付きグラウンドトゥルース学习データを作成することもできます。次の表に示す关数，およびツールボックスのその他の机能を使用して，オーディオデータを处理できます。これらの変换を作成および适用する方法を说明する例については，增加音频数据集(音频工具箱)を参照してください。

前処理のタイプ説明関数のサンプル出力のサンプル

オーディオデータの拡張

ランダムまたは确定的なピッチシフト，时间 - スケール変更，时间シフト，ノイズの追加，ボリュームコントロールを実行する

前処理のタイプ	説明	関数のサンプル	出力のサンプル
オーディオデータの拡張	ランダムまたは确定的なピッチシフト，时间 - スケール変更，时间シフト，ノイズの追加，ボリュームコントロールを実行する	`audioDataAugmenter`(音频工具箱)，`audioTimeScaler`(音频工具箱)，`shiftPitch`(音频工具箱)，`stretchAudio`(音频工具箱)
オーディオの特徴の抽出	オーディオセグメントからスペクトルパラメーターを抽出する	`audioFeatureExtractor`(音频工具箱)，`MFCC`(音频工具箱)	处理された出力： ans =结构体字段:mfcc:(1 2 3 4 5 6 7 8 9 10 11 12 13] mfccDelta:[14 15 16 17 18 19 20 21日22日23日24日25日26日]mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39] spectralCentroid: 40节:41
时间 - 周波数表现の作成	メルスペクトログラム,およびオーディオ信号のその他の2次元表現を作成する	`melSpectrogram`(音频工具箱)，`多层螺旋ct`(音频工具箱)

audioDataAugmenter(音频工具箱)，audioTimeScaler(音频工具箱)，shiftPitch(音频工具箱)，stretchAudio(音频工具箱)

オーディオの特徴の抽出

オーディオセグメントからスペクトルパラメーターを抽出する

audioFeatureExtractor(音频工具箱)，MFCC(音频工具箱)

处理された出力：

ans =结构体字段:mfcc:(1 2 3 4 5 6 7 8 9 10 11 12 13] mfccDelta:[14 15 16 17 18 19 20 21日22日23日24日25日26日]mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39] spectralCentroid: 40节:41

时间 - 周波数表现の作成

メルスペクトログラム,およびオーディオ信号のその他の2次元表現を作成する

melSpectrogram(音频工具箱)，多层螺旋ct(音频工具箱)

テキスト分析

文本分析工具箱™には，装置のログ，ニュースフィード，アンケート，オペレーターレポート，ソーシャルメディアなどのソースからの生テキストを处理するツールが含まれています。これらのツールを使用して，一般的なファイル形式からのテキストの抽出，生テキストの处理，个々の単语やマルチワードフレーズ（n元语法）の抽出，テキストから数値表现への変换，统计モデルの作成を行います。次の表に示す关数，およびツールボックスのその他の机能を使用して，テキストデータを处理できます。开始方法を示す例については，准备文本数据进行分析（文本分析工具箱）を参照してください。

前処理のタイプ説明関数のサンプル出力のサンプル

テキストのトークン化

テキストを解析して単语と句読点にする

前処理のタイプ	説明	関数のサンプル	出力のサンプル
テキストのトークン化	テキストを解析して単语と句読点にする	`tokenizedDocument`（文本分析工具箱）	元の出力： `"罗斯兰18号高速公路上有几根超过6英寸的树枝"` 处理された出力： `15个令牌：一些树枝大于6英尺的地方上HWY 18罗斯兰．`
テキストのクリーンアップ	语形と大文字小文字のばらつきを除去する句読点を除去するストップワード,短い単語,および長い単語を除去する	`normalizeWords`（文本分析工具箱） `erasePunctuation`（文本分析工具箱） `removeStopWords`（文本分析工具箱），`removeShortWords`（文本分析工具箱），`removeLongWords`（文本分析工具箱）	处理された出力： `代币:玫瑰岛18号高速公路上有几根大于6英寸的树枝．` `纪念品:在罗斯兰18号高速公路上有几根大于6英寸的树枝` `8个标记：一些树枝伟大英寸下来HWY罗斯兰`