minibatchqueue
为深度学习创建小批量
描述
使用一个minibatchqueue对象创建、预处理和管理使用自定义训练循环的小批数据。
一个minibatchqueue对象遍历数据存储，以提供适合使用自定义训练循环进行培训的格式的数据。该对象准备一个按需预处理的小批队列。使用一个minibatchqueue对象来自动将数据转换为dlarray或gpuArray，将数据转换为不同的精度，或应用自定义函数来预处理数据。您可以在后台并行地准备数据。
在培训期间，您可以使用minibatchqueue对象。可以在每个训练时期开始时使用洗牌函数，并为每个训练迭代从队列中收集数据下一个函数。方法检查是否有数据留在队列中hasdata功能,重置空队列时的队列。
创造
描述
兆贝可=小型批处理队列(ds，numOutputs）minibatchqueue对象从输入数据存储中删除ds和设置每个小批量中的变量数。使用MiniBatchFcn指定一个迷你批处理预处理函数，该函数的输出数量与输入数据存储的变量数量不同ds．
兆贝可=小型批处理队列(＿＿＿、名称、值)minibatchqueue（ds，“MiniBatchSize”，64，“PartialMiniBatchs”，“放弃”）将返回的小批量的大小设置为64，并丢弃任何小于64个观察值的小批量。
输入参数
性质
对象的功能
例子
为定制训练循环准备小批量
使用一个minibatchqueue对象自动准备小批量的图像和分类标签，用于自定义训练循环中的训练。
创建一个数据存储。调用读在auimds生成包含两个变量的表：输入，其中包含图像数据响应，包含相应的分类标签。
auimds = augmentedImageDatastore([100 100]，digitDatastore);=阅读(auimds);头(2)
ans =输入的响应 _______________ ________ { 100×100 uint8}{100×100 uint8} 0
创建一个minibatchqueue对象从auimds．设置MiniBatchSize财产256．
的minibatchqueue对象有两个输出变量:图像和分类标签输入和响应的变量auimds，分别设置minibatchqueue对象以返回格式化的图像dlarray在GPU上。图像是单通道黑白图像。通过应用该格式添加一个单例通道维度“SSBC”返回到批处理。将标签作为非-dlarray在CPU上。
兆贝可= minibatchqueue (auimds,...“MiniBatchSize”, 256,...“OutputAsDlarray”(1,0),...“MiniBatchFormat”，{“SSBC”，”},...“外部环境”，{“图形”，“cpu”}）
使用下一个命令功能获取小批量兆贝可．
(X, Y) =下一个(兆贝可);
使用自定义预处理功能创建小批量
预处理数据使用minibatchqueue具有自定义的小批量预处理功能。自定义函数将传入图像数据在0和1之间缩放，并计算平均图像。
解压缩数据并创建一个数据存储。
解压(“MerchData.zip”）;imd = imageDatastore (“水星”，...“包含子文件夹”符合事实的...“标签源”，“foldernames”）;
创建一个minibatchqueue使用自定义函数对数据进行预处理preprocessMiniBatch在本例末尾定义。自定义函数将图像数据连接到数字数组中，在0和1之间重新缩放图像，并计算图像批的平均值。该函数返回重新缩放的图像批和平均图像。将输出数设置为2，以匹配函数的输出数量。
兆贝可= minibatchqueue (imd 2...“MiniBatchSize”, 16岁,...“MiniBatchFcn”@preprocessMiniBatch,...“OutputAsDlarray”, 0)
迷你批量创建:MiniBatchSize: 16 PartialMiniBatch: ` return ` MiniBatchFcn: @preprocessMiniBatch DispatchInBackground: 0 outputs: OutputCast: {'single' 'single'} OutputAsDlarray: [0 0] MiniBatchFormat: {'' ''} outputenenvironment: {'auto' 'auto'}
获取一个迷你批处理并显示迷你批处理中图像的平均值。
[X，averageImage]=下一个（mbq）；imshow（平均图像）
函数[X，averageImage]=预处理小批量（XCell）X=cat（4，XCell{：}）；X=重新缩放（X，“InputMin”，0，“输入最大值”, 255);averageImage =意味着(X, 4);结束
使用minibatchqueue在自定义训练循环中
使用以下方法训练网络minibatchqueue管理小批量的处理。
负荷训练数据
加载数字训练数据并将数据存储在数据存储器中。为使用的图像和标签创建一个数据存储arrayDatastore。然后，组合数据存储以生成一个单独的数据存储以供使用minibatchqueue．
[XTrain, YTrain] = digitTrain4DArrayData;dsX = arrayDatastore (XTrain,“IterationDimension”4);dsY = arrayDatastore (YTrain);dsTrain =结合(dsX dsY);
确定标签数据中唯一类的数量。
类别=类别（YTrain）；numClasses=numel（类）；
定义网络
属性定义网络并指定平均图像值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，“conv1”) reluLayer (“名字”，“relu1”)卷积2层（3,20，“填充”,1，“名字”，“conv2”) reluLayer (“名字”，“relu2”)卷积2层（3,20，“填充”,1，“名字”，“conv3”) reluLayer (“名字”，“relu3”) fullyConnectedLayer (numClasses“名字”，“俱乐部”) softmaxLayer (“名字”，“softmax”));lgraph = layerGraph(层);
创建一个dlnetwork对象从层图。
dlnet = dlnetwork (lgraph);
定义模型梯度函数
创建helper函数modelGradients，列在示例的最后。函数以a作为输入dlnetwork对象dlnet和一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度dlnet．
指定培训选项
指定在培训期间使用的选项。
numEpochs = 10;miniBatchSize = 128;
在一个情节中想象训练的进展。
情节=“培训进度”；
创建minibatchqueue
使用minibatchqueue处理和管理小批量图像。为每个mini-batch:
丢弃部分mini-batches。
使用自定义小批量预处理功能
preprocessMiniBatch(在本例的最后定义)一次性对类标签进行编码。使用标注标签格式化图像数据
“SSCB”（空间、空间、通道、批次）。默认情况下minibatchqueue对象将数据转换为dlarray具有基础数据类型的对象仅有一个的．不要向类标签添加格式。在可用的GPU上进行训练。默认情况下,
minibatchqueue对象将每个输出转换为gpuArray如果有可用的GPU。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU支金宝app持情况（并行计算工具箱）．
兆贝可= minibatchqueue (dsTrain,...“MiniBatchSize”miniBatchSize,...“PartialMiniBatch”，“丢弃”，...“MiniBatchFcn”@preprocessMiniBatch,...“MiniBatchFormat”，{“SSCB”，”});
列车网络的
使用自定义训练循环训练模型。对于每个epoch，当数据在minibatchqueue．使用adamupdate作用在每个历元结束时，显示训练进度。
初始化训练进度图。
如果情节= =“培训进度”figure lineLossTrain=动画线(“颜色”[0.85 0.325 0.098]);ylim([0正])包含(“迭代”) ylabel (“损失”网格)在结束
初始化平均梯度和平方平均梯度。
平均梯度=[]；averageSqGrad=[]；
培训网络。
迭代= 0;开始=抽搐;为历元=1:numEpochs%洗牌数据。洗牌(兆贝可);而Hasdata (mbq) iteration = iteration + 1;%读取小批量数据。[dlX Y] =下一个(兆贝可);使用dlfeval和%模型梯度辅助功能。(研究生,亏损)= dlfeval (@modelGradients, dlnet dlX Y);%使用Adam优化器更新网络参数。[dlnet，averageGrad，averageSqGrad]=更新日期（dlnet，grad，averageGrad，averageSqGrad，迭代）；%显示训练进度。如果情节= =“培训进度”D =持续时间(0,0,toc(开始),“格式”，“hh:mm:ss”）;addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(“时代：”+时代+”,过去:“+ drawnow字符串(D))结束结束结束
模型梯度函数
的modelGradientsHelper函数接受a作为输入dlnetwork对象dlnet和一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度dlnet．要自动计算梯度，请使用dlgradient函数。
函数[梯度，损失]=模型梯度（dlnet，dlX，Y）dlYPred=正向（dlnet，dlX）；损失=交叉熵（dlYPred，Y）；梯度=dlgradient（损失，dlnet.Learnables）；结束
Mini-Batch预处理功能
的preprocessMiniBatch函数使用以下步骤对数据进行预处理:
从传入单元格数组中提取图像数据，并将数据连接到一个数字数组中。将图像数据连接到第四个维度上，为每个图像添加了第三个维度，用作单通道维度。
从传入的单元格数组中提取标签数据，并沿着第二个维度连接到一个分类数组中。
一次性将分类标签编码为数字数组。编码到第一个维度会生成一个与网络输出形状匹配的编码数组。
函数(X, Y) = preprocessMiniBatch(伊势亚YCell)%从单元阵列提取图像数据并连接超过四分之一%维度添加第三个单例维度，作为通道%的维度。猫(X = 4,伊势亚{:});%从单元格中提取标签数据并连接。Y =猫(2,YCell {:});%一次性编码标签。Y, Y = onehotencode (1);结束
另请参阅
你也可以从以下列表中选择一个网站:
