データストアの選択

多くの用途では、組み込みデータストアで開始するのが最も簡単な方法です。使用可能な組み込みデータストアの詳細は、ファイル形式またはアプリケーション用のデータ ストアの選択を参照してください。ただし,ネットワークの学習,検証,および推論のための入力として直接使用できるのは,一部のタイプの組み込みデータストアのみです。これらのデータストアは以下のとおりです。

その他の組み込みデータストアは深層学習の入力として使用できますが、これらのデータストアから読み取られたデータは、深層学習ネットワークに必要な形式になるように前処理しなければなりません。読み取りデータに必要な形式の詳細は、学習,検証,および推論用の入力データストアを参照してください。データストアから読み取られたデータを前処理する方法の詳細は、データストアの変換と統合を参照してください。

用途によっては、データを当てはめる組み込みデータストア タイプが存在しないことがあります。これらの問題がある場合、カスタム データストアを作成できます。詳細については、カスタム データ ストアの開発を参照してください。カスタム データストアの関数读が必要な形式でデータを返す限り、すべてのカスタム データストアが深層学習インターフェイスに対する入力として有効です。

学習,検証,および推論用の入力データストア

深度学习工具箱™のデータストアは,学習,検証,および推論に有効な入力です。

数据=读取（ds）

数据=4×2表预测值响应{224×224×3双}2{224×224×3双}7{224×224×3双}9{224×224×3双}

数据=读取（ds）

Data = 4×2 cell array {224×224×3 double} {[2]} {224×224×3 double} {[7]} {224×224×3 double} {[9]} {224×224×3 double} {[9]}

数据=读取（ds）

数据=4×3单元阵列{224×224×3 double}{128×128×3 double}{[2]}{224×224×3 double}{[2]}{224×224×3 double}{128×128×3 double}{[9]}{224×224×3 double}{128×128×3 double}{[9]}

読み取りサイズとミニバッチ サイズの指定

读を呼び出すたびに,データストアが任意の行数(観測値)を返すことがあります。データストアを使用でき,“MiniBatchSize”の指定をサポートするtrainNetwork、预测、分类、激活などの関数は、データの完全なミニバッチの形成に必要な回数だけ读を呼び出します。これらの関数がミニバッチを形成する際には,メモリの内部キューを使用して読み取りデータを格納します。たとえば,读の呼び出しごとにデータストアが一貫して64行を返し,MiniBatchSizeが128である場合、データの各ミニバッチを形成するには读を2回呼び出す必要があります。

最良のランタイム パフォーマンスを得るには、读によって返される観測値の数が“MiniBatchSize”に等しくなるようにデータストアを構成することをお勧めします。“ReadSize”プロパティがあるデータストアの場合、“ReadSize”を設定して,读を呼び出すたびにデータストアによって返される観測値の数を変更します。

データストアの変換と統合

深層学習では,データがネットワークへの入力に適した形式になる前にデータの前処理と拡張が必要になることがよくあります。データストアの関数使改变および结合は、ネットワークに渡されるデータの準備に役立ちます。

複数の入力層があるネットワークにデータストアを使用するには、関数结合および使改变を使用して,列数が(numInputs+ 1)の细胞配列を出力するデータストアを作成します。ここで,numInputsはネットワーク入力の数です。この場合、最初のnumInputs列は各入力の予測子を指定し、最後の列は応答を指定します。入力の順序は、層グラフ层のInputNamesプロパティによって指定します。

digitDatasetPath=fullfile（matlabroot，“工具箱”，“内特”，...“nndemos”，“nndatasets”，“DigitDataset”); imds2=图像数据存储（digitDatasetPath，...“IncludeSubfolders”错误的...“标签源”，“foldernames”）;

miniBatchSize=128；imds.ReadSize=miniBatchSize；

dsTrain=变换（imds，@prepreprefortrain，“IncludeInfo”，对）

[1×1 matlab.io.datastore. dsTrain = TransformedDatastore . properties:ImageDatastore转换:{@preprocessForTraining} IncludeInfo

层=[imageInputLayer（[28 1]，“正常化”，“没有”reluLayer maxPooling2dLayer(2, 10)“步”，2）全连接层（10）；softmaxLayer分类层]；选项=培训选项(“亚当”，...“阴谋”，“培训进度”，...“MiniBatchSize”, miniBatchSize);网= trainNetwork (dsTrain层,选项);

函数[dataOut，info]=prepreprefortraining（data，info）numRows=size（data，1）；dataOut=cell（numRows，2）；为idx = 1: numRows%随机90度旋转imgOut=rot90（数据{idx，1}，randi（4）-1）；从info结构体返回标签作为%数据输出中的第二列。dataOut（idx，：）={imgOut，info.Label（idx）}；结束结束

imdsX = imageDatastore (___);imdsY = imageDatastore (___);imdsTrain =结合(imdsX imdsY)

imdsTrain=CombinedDatastore与属性：底层数据存储：{1×2 cell}

並列学習およびバックグラウンド ディスパッチへのデータストアの使用

並列学習またはマルチ GPU学習に使用されるデータストアは分割可能でなければなりません。データストアが分割可能かどうかを判定するには、関数可分割を使用します。培训选项の名前と値のペアの引数＇执行环境＇を使用して,並列学習またはマルチGPU学習を指定します。並列学習や,単一GPUまたは複数GPUでの学習を行うには,并行计算工具箱™が必要です。

多くの組み込みデータストアは関数隔断をサポートしているため、既に分割可能になっています。関数使改变と结合を組み込みデータストアと共に使用すると、一般的には並列学習とマルチ GPU学習のサポートが維持されます。

並列学習またはマルチGPU学習をサポートするカスタムデータストアを作成する必要がある場合,データストアはmatlab.io.datastore.Partitionableクラスを実装しなければなりません。

分割可能なデータストアは、バックグラウンド ディスパッチを使用した学習データの読み取りをサポートします。バックグラウンド ディスパッチでは、GPUの作動中にデータがメモリのキューに入れられます。培训选项の名前と値のペアの引数＇派遣背景＇を使用してバックグラウンドディスパッチを指定します。バックグラウンドディスパッチは并行计算工具箱が必要です。

並列学習の場合,データストアで培训选项の名前と値のペアの引数＇洗牌＇を“没有”に指定することはサポートされません。