小型批处理队列
为深度学习创建小批量
描述
使用小型批处理队列对象创建、预处理和管理用于使用自定义训练循环进行训练的小批量数据。
一个小型批处理队列对象在数据存储上迭代，以使用自定义训练循环以适当的格式提供用于训练的数据。对象准备一个按需预处理的小批量队列。使用小型批处理队列对象来自动将数据转换为dlarray或gpuArray，将数据转换为其他精度，或应用自定义函数预处理数据。您可以在后台并行准备数据。
在培训期间，您可以使用小型批处理队列对象。可以在每个训练时期开始时使用洗牌函数，并为每个训练迭代从队列中收集数据下一个函数。您可以使用hasdata功能,重置当队列为空时，该队列将被删除。
创建
描述
mbq= minibatchqueue (ds，numOutputs）小型批处理队列对象从输入数据存储中删除ds并设置每个小批处理中的变量数量。使用时请使用此语法MiniBatchFcn指定一个小批量预处理函数，该函数的输出数与输入数据存储的变量数不同ds．
mbq= minibatchqueue (＿＿＿，名称，值）minibatchqueue (ds,“MiniBatchSize ", 64年,“PartialMiniBatches”、“丢弃”)将返回的小批量的大小设置为64，并丢弃任何小于64个观察值的小批量。
输入参数
属性
对象的功能
例子
为自定义训练循环准备小批量
使用小型批处理队列对象自动准备小批量的图像和分类标签，用于自定义训练循环中的训练。
创建一个数据存储。调用阅读在…上auimds生成一个包含两个变量的表:输入，包含图像数据，以及响应，包含相应的分类标签。
auimds=增强图像数据存储（[100]，数字数据存储）；A=读取（auimds）；总目（A、2）
ans =输入的响应 _______________ ________ { 100×100 uint8}{100×100 uint8} 0
创建一个小型批处理队列反对auimds．设置小批量财产256．
的小型批处理队列对象有两个输出变量：来自对象的图像和分类标签输入和响应的变量auimds,分别。设置小型批处理队列对象以将图像作为已格式化图像返回dlarray在GPU上。这些图像是单通道黑白图像。通过应用格式添加单通道维度“SSBC”批处理。返回标签为非dlarray在CPU上。
兆贝可= minibatchqueue (auimds,．..“MiniBatchSize”, 256,．..“OutputAsDlarray”,[1,0],．..“MiniBatchFormat”,{“SSBC”，”},．..“OutputEnvironment”,{“图形”，“cpu”})
使用下一个函数从中获取小批量mbq．
[X，Y]=下一个（mbq）；
使用自定义预处理功能创建小批量
预处理数据使用小型批处理队列具有自定义小批量预处理功能。自定义功能可在0和1之间重新缩放传入图像数据，并计算平均图像。
解压缩数据并创建数据存储。
解压缩(“MerchData.zip”); imds=图像数据存储(“MerchData”，．..“IncludeSubfolders”,真的,．..“LabelSource”，“foldernames”);
创建一个小型批处理队列使用自定义函数预处理数据的preprocessMiniBatch在本例的最后定义。自定义函数将图像数据连接到一个数字数组中，在0和1之间缩放图像，并计算批图像的平均值。该函数返回缩放后的一批图像和平均图像。设置输出的数量为2，以匹配函数的输出数量。
mbq=小型批处理队列（imds，2，．..“MiniBatchSize”, 16岁,．..“MiniBatchFcn”@preprocessMiniBatch,．..“OutputAsDlarray”,0)
mbq=具有2个输出和属性的minibatchqueue:MiniBatch创建：MiniBatchSize:16 PartialMiniBatch:'return'MiniBatchFcn:@PreprocessMiniBatchDispatchInBackground:0输出：OutputCast:{'single''single'}OutputLarray:[0]MiniBatchFormat:{'''''}OutputEnvironment:{'auto''auto'}
获取一个小批量并显示小批量中图像的平均值。
[X, averageImage] =下一个(兆贝可);imshow (averageImage)
作用[X,averageImage] = preprocessMiniBatch(XCell) X = cat(4,XCell{:});X =重新调节(X,“InputMin”,0,“InputMax”,255); 平均图像=平均值（X，4）；结束
使用小型批处理队列在自定义训练循环中
使用以下方法训练网络小型批处理队列管理小批量的加工。
负荷训练数据
加载数字训练数据并将数据存储在数据存储中。使用创建图像数据存储和标签数据存储arrayDatastore．然后，将这些数据存储组合起来，生成一个要使用的数据存储小型批处理队列．
[XTrain，YTrain]=数字列车4DRARAYDATA；dsX=阵列数据存储（XTrain，“迭代维度”,4); dsY=阵列数据存储（YTrain）；dsTrain=联合收割机（dsX，dsY）；
确定标签数据中唯一类的数量。
类=类别(YTrain);numClasses =元素个数(类);
定义网络
属性定义网络并指定平均图像值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，“的意思是”，平均（XTrain，4））卷积2层（5,20，“名字”，“conv1”) reluLayer (“名字”，“relu1”20岁的)convolution2dLayer (3“填充”1.“名字”，“conv2”) reluLayer (“名字”，“relu2”20岁的)convolution2dLayer (3“填充”1.“名字”，“conv3”) reluLayer (“名字”，“relu3”)完全连接层（NumClass，“名字”，“fc”)软MaxLayer(“名字”，“softmax”)]; lgraph=层图（层）；
创建一个数据链路网络对象从图层图中删除。
dlnet = dlnetwork (lgraph);
定义模型梯度函数
创建helper函数modelGradients，列在示例末尾。该函数将作为输入数据链路网络对象数据链路以及一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度数据链路．
指定培训选项
指定在培训期间使用的选项。
numEpochs=10；miniBatchSize=128；
在一个情节中想象训练的进展。
情节=“训练进步”；
创建小型批处理队列
使用小型批处理队列处理和管理小批量图像。对于每个小批量：
丢弃部分mini-batches。
使用自定义小批量预处理功能
preprocessMiniBatch（在本例末尾定义）对类标签进行热编码。使用尺寸标签格式化图像数据
“SSCB”(spatial, spatial, channel, batch)。默认情况下,小型批处理队列对象将数据转换为dlarray具有底层数据类型的对象单．不要向类标签添加格式。如果GPU可用，则在GPU上进行训练。默认情况下
小型批处理队列对象将每个输出转换为gpuArray如果有可用的GPU。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU版金宝app本支持(并行计算工具箱)．
mbq=小型批处理队列（dsTrain，．..“MiniBatchSize”，小批量，．..“PartialMiniBatch”，“丢弃”，．..“MiniBatchFcn”@preprocessMiniBatch,．..“MiniBatchFormat”,{“SSCB”，”}）;
列车网络的
使用自定义训练循环训练模型。对于每个历元，在数据仍然可用的情况下，洗牌数据并在小批量上循环小型批处理队列。使用以下命令更新网络参数：adamupdate函数。在每个纪元的末尾，展示训练的进展情况。
初始化培训进度图。
如果阴谋==“训练进步”figure lineosstrain = animatedline(“颜色”,[0.85 0.325 0.098]); ylim（[0 inf]）xlabel(“迭代”)伊拉贝尔(“损失”)网格在…上结束
初始化平均梯度和平方平均梯度。
averageGrad = [];averageSqGrad = [];
培训网络。
迭代=0；开始=抽搐；为时代= 1:numEpochs%洗牌数据。洗牌(兆贝可);虽然hasdata（mbq）迭代=迭代+1；%读取小批数据。[dlX，Y]=下一个（mbq）；%使用dlfeval和%模型梯度辅助功能。(研究生,亏损)= dlfeval (@modelGradients, dlnet dlX Y);%使用Adam优化器更新网络参数。[dlnet, averageGrad averageSqGrad] = adamupdate (dlnet,研究生,averageGrad averageSqGrad,迭代);%显示训练进度。如果阴谋==“训练进步”D=持续时间（0,0，toc（开始），“格式”，“hh: mm: ss”); 添加点（lineLossTrain、迭代、双（聚集（提取数据（丢失）））标题(”时代:“+时代+”,过去:“+字符串（D）现在开始结束结束结束
模型梯度函数
的modelGradientshelper函数接受一个数据链路网络对象数据链路以及一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度数据链路．要自动计算梯度，请使用梯度函数。
作用[gradient,loss] = modelGradients(dlnet,dlX,Y)损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结束
小批量预处理函数
的preprocessMiniBatch函数使用以下步骤预处理数据：
从传入的单元格数组中提取图像数据，并将数据连接到数字数组中。在第四维上连接图像数据会为每个图像添加一个第三维，用作单一通道维。
从传入的单元格数组中提取标签数据，并沿第二维度连接到分类数组中。
一种是将分类标签编码为数字数组。编码到第一维将生成一个编码数组，该数组与网络输出的形状相匹配。
作用(X, Y) = preprocessMiniBatch(伊势亚YCell)%从单元格数组中提取图像数据并连接到第四个单元格%维度添加第三个单例维度，作为通道%维度。猫(X = 4,伊势亚{:});%从单元格中提取标签数据并连接。Y =猫(2,YCell {:});%一次性编码标签。Y=onehotcode（Y，1）；结束
另请参阅
您还可以从以下列表中选择网站：
