minibatchqueue
为深度学习创建小批量
描述
使用一个minibatchqueue
对象使用自定义训练循环创建、预处理和管理用于训练的小批数据。
一个minibatchqueue
对象在数据存储上迭代,以提供适合使用自定义训练循环进行训练的格式的数据。对象准备一个按需预处理的小批队列。使用一个minibatchqueue
对象自动将数据转换为dlarray
或gpuArray
,将数据转换为不同的精度,或应用自定义函数预处理数据。您可以在后台并行地准备数据。
在培训期间,可以使用minibatchqueue
对象。方法可以在每个训练纪元开始时对数据进行洗牌洗牌
函数,并为每次训练迭代从队列中收集数据下一个
函数。方法可以检查队列中是否还有任何数据hasdata
功能,重置
队列为空时的。
创建
描述
创建一个兆贝可
= minibatchqueue (ds
,numOutputs
)minibatchqueue
对象从输入数据存储中获取ds
并设置每个小批处理中的变量数量。使用时使用此语法MiniBatchFcn
指定一个小批预处理函数,该函数的输出数量与输入数据存储的变量数量不同ds
.
使用名称-值选项设置一个或多个属性。例如,兆贝可
= minibatchqueue (___、名称、值)minibatchqueue (ds,“MiniBatchSize ", 64年,“PartialMiniBatches”、“丢弃”)
将返回的小批的大小设置为64,并丢弃任何小于64个观测值的小批。
输入参数
ds
- - - - - -输入数据存储
数据存储|自定义数据存储
输入数据存储,指定为MATLAB®数据存储或自定义数据存储。
有关用于深度学习的数据存储的更多信息,请参见用于深度学习的数据存储.
numOutputs
- - - - - -小批处理变量的个数
正整数
小批处理变量的个数,指定为正整数。默认情况下,迷你批处理变量的数量等于输入数据存储的变量的数量。
的输出可以确定输入数据存储的变量数量阅读(ds)
.如果你的数据存储返回一个表,变量的数量就是这个表的变量的数量。如果数据存储返回一个单元格数组,则变量的数量是单元格数组的第二个维度的大小。
如果你使用MiniBatchFcn
参数来指定一个小批预处理函数,该函数返回与输入数据存储不同数量的变量,则必须设置numOutputs
匹配函数的输出数。
例子:2
属性
MiniBatchSize
- - - - - -小批尺寸
128
(默认)|正整数
PartialMiniBatch
- - - - - -退回或丢弃不完整的小批量
“回归”
(默认)|“丢弃”
返回或丢弃不完整的小批,指定为“回归”
或“丢弃”
.
如果观测的总数不能被MiniBatchSize
函数返回的最后一个小批下一个
函数可以小于MiniBatchSize
观察。此属性指定如何使用以下选项处理任何部分小批:
“回归”
—mini-batch可以包含小于MiniBatchSize
观察。返回所有数据。“丢弃”
—所有小批量必须包含MiniBatchSize
观察。如果没有足够的数据来完成一个完整的小批处理,则可以从队列中丢弃一些数据。
集PartialMiniBatch
来“丢弃”
如果你要求所有的小批量都是相同的尺寸。
例子:“丢弃”
数据类型:字符
|字符串
MiniBatchFcn
- - - - - -小批量预处理功能
“整理”
(默认)|函数处理
此属性是只读的。
小批量预处理功能,指定为“整理”
或者一个函数句柄。
的默认值MiniBatchFcn
是“整理”
.该函数将迷你批处理变量连接到数组中。
使用自定义函数的函数句柄来预处理自定义训练的小批。对于单热编码分类标签、填充序列数据、计算平均图像等,建议这样做。如果数据由包含不同大小数组的单元格数组组成,则必须指定自定义函数。
如果指定自定义小批预处理函数,则该函数在预处理后必须将每批输出变量连接到一个数组中,并将每个变量作为单独的函数输出返回。函数必须接受至少与底层数据存储的变量数量相同的输入。输入被传递给自定义函数为N-by-1单元格数组,其中N是小批中的观察数。函数可以根据需要返回任意数量的变量。所指定的函数MiniBatchFcn
返回与输入数不同的输出数,请指定numOutputs
作为函数的输出数。
在自定义函数中不建议执行以下操作。属性时设置相应的属性,即可重现所需的行为minibatchqueue
对象。
行动 | 推荐的属性 |
---|---|
将变量转换为不同的数据类型。 | OutputCast |
移动数据到GPU。 | OutputEnvironment |
将数据转换为dlarray . |
OutputAsDlarray |
将数据格式应用于dlarray 变量。 |
MiniBatchFormat |
例子:@myCustomFunction
数据类型:字符
|字符串
|function_handle
DispatchInBackground
- - - - - -在并行池后台对小批量进行预处理
假
或0
(默认)|真正的
或1
在并行池的后台预处理小批,指定为数字或逻辑1
(真正的
)或0
(假
).
使用此选项需要并行计算工具箱™。输入数据存储ds
必须是可子集或可分区的。要使用此选项,自定义数据存储应实现matlab.io.datastore.Subsettable
类。
当您的小批量需要大量预处理时,请使用此选项。当您在培训期间使用小批量时,此选项使用并行池在后台准备小批量。
池中的工作者通过应用指定的函数来处理小批MiniBatchFcn
.进一步的处理,包括应用的效果OutputCast
,OutputEnvironment
,OutputAsDlarray
,MiniBatchFormat
,不会发生在工人身上。
当DispatchInBackground
设置为真正的
,如果本地池当前未打开,则软件将使用当前设置打开本地并行池。不支持非本地存储池。金宝app泳池会在你第一次打电话时开放下一个
.
例子:真正的
数据类型:逻辑
OutputCast
- - - - - -每个小批处理变量的数据类型
“单一”
(默认)|“双”
|“int8”
|“int16”
|“int32”
|“int64”
|“uint8”
|“uint16”
|“uint32”
|“uint64”
|“逻辑”
|“字符”
|单元阵列
此属性是只读的。
每个小批处理变量的数据类型,指定为“单一”
,“双”
,“int8”
,“int16”
,“int32”
,“int64”
,“uint8”
,“uint16”
,“uint32”
,“uint64”
,“逻辑”
,或“字符”
,或这些值的单元格数组,或空向量。
如果你指定OutputCast
作为空向量,每个迷你批处理变量的数据类型是不变的。若要为每个小批处理变量指定不同的数据类型,请指定包含每个小批处理变量条目的单元格数组。此单元格数组元素的顺序必须与返回小批处理变量的顺序匹配。所指定的函数返回变量的顺序与此相同MiniBatchFcn
.如果未指定自定义函数MiniBatchFcn
,它与底层数据存储返回变量的顺序相同。
你必须确保的值OutputCast
是否与价值观相冲突OutputAsDlarray
或OutputEnvironment
属性。如果你指定OutputAsDlarray
作为真正的
或1
,检查指定的数据类型OutputCast
由金宝appdlarray
.如果你指定OutputEnvironment
作为“图形”
或“汽车”
和支持的图形金宝app处理器可用时,检查指定的数据类型OutputCast
由金宝appgpuArray
(并行计算工具箱).
例子:{‘单身’,‘单身’,‘逻辑’}
数据类型:字符
|字符串
OutputAsDlarray
- - - - - -标志,将小批处理变量转换为dlarray
真正的
或1
(默认)|假
或0
|逻辑值向量
此属性是只读的。
标志,将小批处理变量转换为dlarray
,指定为数字或逻辑1
(真正的
)或0
(假
)或作为数字或逻辑值的向量。
若要为每个输出指定不同的值,请为每个小批处理变量指定一个包含条目的向量。此向量的元素顺序必须与返回mini-批处理变量的顺序匹配。所指定的函数返回变量的顺序与此相同MiniBatchFcn
.如果未指定自定义函数MiniBatchFcn
,它与底层数据存储返回变量的顺序相同。
转换为的变量dlarray
属性指定的基础数据类型是否为OutputCast
财产。
例子:(1 1 0)
数据类型:逻辑
MiniBatchFormat
- - - - - -小批量变量的数据格式
”
(默认)|特征向量|单元阵列
此属性是只读的。
小批处理变量的数据格式,指定为字符向量或字符向量的单元格数组。
应用的是迷你批处理格式dlarray
变量。非dlarray
小批处理变量必须具有MiniBatchFormat
的”
.
为了避免错误,当你有一个混合dlarray
和非dlarray
变量时,必须为每个输出指定一个值,方法是提供包含每个小批处理变量条目的单元格数组。此单元格数组元素的顺序必须与返回小批处理变量的顺序匹配。所指定的函数返回变量的顺序相同MiniBatchFcn
.如果未指定自定义函数MiniBatchFcn
,它与底层数据存储返回变量的顺序相同。
例子:{‘SSCB’,”}
数据类型:字符
|字符串
OutputEnvironment
- - - - - -用于小批变量的硬件资源
“汽车”
(默认)|“图形”
|“cpu”
|单元阵列
方法返回的小批处理变量的硬件资源下一个
函数,指定为以下值之一:
“汽车”
—如果GPU上有mini-batch变量,则返回。否则,返回CPU上的迷你批处理变量。“图形”
—返回GPU上的小批量变量。“cpu”
—返回CPU的小批量变量
如果只返回GPU上的特定变量,请指定OutputEnvironment
作为包含每个小批处理变量条目的单元格数组。此单元格数组元素的顺序必须与迷你批处理变量返回的顺序匹配。所指定的函数返回变量的顺序与此顺序相同MiniBatchFcn
.如果您没有指定自定义MiniBatchFcn
,它与底层数据存储返回变量的顺序相同。
使用GPU需要并行计算工具箱。要使用GPU进行深度学习,还必须有支持GPU的设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).如果你选择“图形”
选项和并行计算工具箱或合适的GPU不可用,则软件返回一个错误。
例子:{gpu, cpu的}
数据类型:字符
|字符串
对象的功能
例子
为定制培训循环准备小批量
使用一个minibatchqueue
对象自动为自定义训练循环中的训练准备小批量图像和分类标签。
创建数据存储。调用读
在auimds
生成一个包含两个变量的表:输入
,包含图像数据,和响应
,内载相应的分类标签。
auimds = augmentedImageDatastore([100 100],digitDatastore);A = read(auimds);头(2)
ans =输入的响应 _______________ ________ { 100×100 uint8}{100×100 uint8} 0
创建一个minibatchqueue
对象从auimds
.设置MiniBatchSize
财产256
.
的minibatchqueue
对象的两个输出变量:图像和分类标签输入
而且响应
的变量auimds
,分别。设置minibatchqueue
对象将图像返回为格式化的dlarray
GPU。这些图像是单通道黑白图像。通过应用该格式添加单通道维度“SSBC”
到批次。将标签返回为非dlarray
在CPU上。
MBQ = minibatchqueue(auimds,...“MiniBatchSize”, 256,...“OutputAsDlarray”(1,0),...“MiniBatchFormat”, {“SSBC”,”},...“OutputEnvironment”, {“图形”,“cpu”})
使用下一个
用于从中获取小批量的函数兆贝可
.
[X,Y] = next(mbq);
使用自定义预处理功能和后台调度创建小批量
对数据进行预处理minibatchqueue
具有自定义小批量预处理功能。自定义函数在0到1之间重新调整传入图像数据的大小,并计算平均图像。
解压缩数据并创建一个数据存储。
解压缩(“MerchData.zip”);imds = imageDatastore(“MerchData”,...IncludeSubfolders = true,...LabelSource =“foldernames”);
创建一个minibatchqueue。
设置输出数为
2
,以匹配函数的输出数。设置迷你批大小。
使用自定义函数预处理数据
preprocessMiniBatch
在本例结束时定义。自定义函数将图像数据连接到一个数值数组中,在0到1之间重新缩放图像,并计算这批图像的平均值。该函数返回重新缩放的图像批和平均图像。通过设置并行池在后台应用预处理功能
DispatchInBackground
财产真正的
.设置DispatchInBackground
来真正的
需要并行计算工具箱™。不要将迷你批处理输出变量转换为
dlarray
.
MBQ = minibatchqueue(imds,2,...MiniBatchSize = 16,...MiniBatchFcn = @preprocessMiniBatch,...DispatchInBackground = true,...OutputAsDlarray = false)
mbq = minibatchqueue,有2个输出和属性:迷你批量创建:MiniBatchSize: 16 PartialMiniBatch: 'return' MiniBatchFcn: @preprocessMiniBatch DispatchInBackground: 1 outputs: OutputCast: {'single' 'single'} OutputAsDlarray: [0 0] MiniBatchFormat: {'' ''} OutputEnvironment: {'auto' 'auto'}
如果你正在使用DispatchInBackground
并且并行池尚未打开,当从小批队列读取数据时,本地并行池将自动打开。如果基于线程的环境支持预处理功能,请打开基于线程的并行池,以减少内存金宝app使用、加快调度和降低数据传输成本。有关更多信息,请参见选择基于线程的环境和基于进程的环境(并行计算工具箱).
parpool (“线程”);
启动并行池(parpool)使用'Threads'配置文件…连接到并行池(工人数量:4)。
获取一个迷你批并显示迷你批中图像的平均值。线程工作者应用预处理函数。
[X,averageImage] = next(mbq);imshow (averageImage)
函数[X,averageImage] = preprocessMiniBatch(XCell) X = cat(4,XCell{:});X = rescale(X,InputMin=0,InputMax=255);averageImage = mean(X,4);结束
使用minibatchqueue
自定义培训循环
使用minibatchqueue
管理小批量的加工。
负荷训练数据
加载数字训练数据,并将数据存储在数据存储中。为使用的图像和标签创建一个数据存储arrayDatastore
.然后,将这些数据存储组合在一起,生成一个单独的数据存储minibatchqueue
.
[XTrain,YTrain] = digitTrain4DArrayData;dsX = arrayDatastore(XTrain,IterationDimension=4);dsY = arrayDatastore(YTrain);dsTrain = combine(dsX,dsY);
确定标签数据中唯一类的数量。
类=类别(YTrain);numClasses = nummel(类);
定义网络
属性定义网络并指定平均图像值的意思是
选项在图像输入层。
layers = [imageInputLayer([28 28 1],Mean= Mean (XTrain,4)) convolution2dLayer(5,20) reluLayer convolution2dLayer(3,20,Padding=1) reluLayer convolution2dLayer(3,20,Padding=1) reluLayer fullyConnectedLayer(numClasses) softmaxLayer];lgraph = layerGraph(图层);
创建一个dlnetwork
对象从图层图。
Net = dlnetwork(lgraph);
定义模型损失函数
创建helper函数modelLoss
,在示例的末尾列出。该函数以a作为输入dlnetwork
对象网
和一小批输入数据X
有相应的标签Y
,并返回损失以及损失相对于中可学习参数的梯度网
.
指定培训项目
指定在培训期间使用的选项。
numEpochs = 10;miniBatchSize = 128;
将训练过程可视化。
情节=“训练进步”;
创建minibatchqueue
使用minibatchqueue
处理和管理小批量的图像。对于每个小批量:
丢弃部分小批量。
使用自定义小批量预处理功能
preprocessMiniBatch
(在本例末尾定义)来对类标签进行一次性编码。用尺寸标签格式化图像数据
“SSCB”
(空间,空间,通道,批次)。默认情况下,minibatchqueue
对象将数据转换为dlarray
具有基础数据类型的对象单
.不要向类标签添加格式。如果有GPU,可以在GPU上进行训练。默认情况下,
minibatchqueue
对象将每个输出转换为gpuArray
如果GPU可用。使用GPU需要并行计算工具箱™和受支持的GPU设备。金宝app有关受支持设备的信息,请参见金宝appGPU计算要求(并行计算工具箱).
mbq = minibatchqueue(dsTrain,...MiniBatchSize = MiniBatchSize,...PartialMiniBatch =“丢弃”,...MiniBatchFcn = @preprocessMiniBatch,...MiniBatchFormat = [“SSCB”,""]);
列车网络的
使用自定义训练循环训练模型。中的数据仍然可用时,对数据进行洗牌并在小批上进行循环minibatchqueue
.方法更新网络参数adamupdate
函数。在每个纪元结束时,显示训练进度。
初始化平均梯度和平均梯度的平方。
averageGrad = [];averageSqGrad = [];
计算训练进度监控器的总迭代次数。
numObservationsTrain = numel(YTrain);numIterationsPerEpoch = ceil(numObservationsTrain / miniBatchSize);numIterations = nummepochs * numIterationsPerEpoch;
初始化TrainingProgressMonitor
对象。因为计时器在创建监视器对象时开始,所以请确保创建的对象接近训练循环。
如果情节= =“训练进步”monitor = trainingProgressMonitor(指标=“损失”信息=“时代”包含=“迭代”);结束
培训网络。
迭代= 0;Epoch = 0;而epoch < numEpochs && ~monitor。停止epoch = epoch + 1;% Shuffle数据。洗牌(兆贝可);而Hasdata (mbq) && ~monitor。停止迭代=迭代+ 1;读取小批数据。[X,Y] = next(mbq);计算模型损失和梯度使用dlfeval和帮助函数。[loss,grad] = dlfeval(@modelLoss,net,X,Y);使用Adam优化器更新网络参数。。[net,averageGrad,averageSqGrad] = adamupdate(net,grad,averageGrad,averageSqGrad,iteration);更新培训进度监视器。如果情节= =“训练进步”recordMetrics(监控、迭代损失=损失);updateInfo(监视、时代=时代+“的”+ numEpochs);班长。进度= 100 * iteration/numIterations;结束结束结束
模型损失函数
的modelLoss
Helper函数接受输入adlnetwork
对象网
和一小批输入数据X
有相应的标签Y
,并返回损失以及损失相对于中可学习参数的梯度网
.要自动计算梯度,请使用dlgradient
函数。
函数[loss,gradients] = modelLoss(net,X,Y) YPred = forward(net,X);loss = crossentropy(YPred,Y);gradients = dlgradient(loss,net.Learnables);结束
小批量预处理功能
的preprocessMiniBatch
函数按照以下步骤对数据进行预处理:
从传入单元格数组中提取图像数据,并将数据连接到数值数组中。将图像数据连接到第四个维度将为每个图像添加第三个维度,用作单通道维度。
从传入的单元格数组中提取标签数据,并沿着第二维连接到一个分类数组中。
One-hot将分类标签编码为数字数组。编码到第一个维度会产生一个与网络输出形状匹配的编码数组。
函数[X,Y] = preprocessMiniBatch(XCell,YCell)从单元格数组中提取图像数据并连接到第四个单元维度来添加第三个单例维度,作为通道%的维度。X = cat(4,XCell{:});从单元格和级联中提取标签数据。Y = cat(2,YCell{:});单热编码标签。Y = onehotencode(Y,1);结束
版本历史
R2020b中介绍
MATLAB命令
你点击了一个对应于这个MATLAB命令的链接:
在MATLAB命令窗口中输入该命令来运行该命令。Web浏览器不支持MATLAB命令。金宝app
您也可以从以下列表中选择一个网站:
如何获得最佳的网站性能
选择中国站点(中文或英文)以获得最佳站点性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。