对于大多数任务,您可以使用trainingOptions
和trainNetwork
功能。如果trainingOptions
函数不提供任务所需的选项(例如,自定义学习速率计划),那么您可以使用dlnetwork
对象。一个dlnetwork
对象允许您使用自动区分来训练指定为层图的网络。
来指定相同的选项trainingOptions
,可以使用以下例子作为指导:
培训选项 | trainingOptions 论点 |
例子 |
---|---|---|
亚当解算器 | 自适应矩估计(ADAM) | |
RMSProp解算器 | 均方根传播(RMSProp) | |
个解算器 | 随机动量梯度下降法(SGDM) | |
学习速率 | “InitialLearnRate” |
学习速率 |
学习产量表 | 分段学习速率计划 | |
培训进展 | “阴谋” |
情节 |
详细输出 | 详细输出 | |
Mini-batch大小 | “MiniBatchSize” |
Mini-Batch大小 |
数量的时代 | “MaxEpochs” |
数量的时代 |
验证 | 验证 | |
l2正则化 | “L2Regularization” |
L2正规化 |
梯度剪裁 | 梯度剪裁 | |
单CPU或GPU训练 | “ExecutionEnvironment” |
单CPU或GPU培训 |
检查点 | “CheckpointPath” |
检查点 |
要指定求解器,请使用adamupdate
,rmspropupdate
,sgdmupdate
函数用于训练循环中的更新步骤。要实现您自己的自定义求解器,请使用dlupdate
函数。
要使用亚当更新网络参数,请使用adamupdate
函数。使用相应的输入参数指定梯度衰减和平方梯度衰减因子。
要使用RMSProp更新网络参数,请使用rmspropupdate
函数。使用相应的输入参数指定分母偏移量()值。
要使用SGDM更新网络参数,请使用sgdmupdate
函数。使用相应的输入参数指定动量。
的学习速率输入参数可指定学习速率adamupdate
,rmspropupdate
,sgdmupdate
功能。
为了方便地调整学习速率或将其用于自定义学习速率计划,请在自定义训练循环之前设置初始学习速率。
learnRate = 0.01;
使用分段学习速率计划在训练过程中自动降低学习速率,在指定的间隔后将学习速率乘以给定的下降因子。
为了方便地指定分段学习速率计划,创建变量learnRate
,learnRateSchedule
,learnRateDropFactor
,learnRateDropPeriod
,在那里learnRate
为初始学习率,learnRateScedule
包含两“分段”
或“没有”
,learnRateDropFactor
在[0,1]范围内的标量指定了放弃学习率的因素,和learnRateDropPeriod
是一个正整数,指定在丢弃学习率之间有多少个纪元。
learnRate = 0.01;learnRateSchedule =“分段”learnRateDropPeriod = 10;learnRateDropFactor = 0.1;
在训练循环中,在每个epoch的末尾,降低学习率learnRateSchedule
选择是“分段”
当前的历元数是learnRateDropPeriod
.设置新的学习率为学习率和学习率下降因子的乘积。
如果learnRateSchedule = =“分段”&& mod(epoch,learnRateDropPeriod) == 0 learnRate = learnRate *结束
为了在训练过程中绘制训练损失和精度,计算小批量损失和模型梯度函数中的精度或均方根误差(RMSE),并使用动画线绘制它们。
要方便地指定应该打开或关闭图形,请创建变量情节
包含两“训练进步”
或“没有”
.要绘制验证度量,请使用相同的选项validationData
和validationFrequency
中描述的验证.
情节=“训练进步”;validationData = {XValidation, YValidation};validationFrequency = 50;
方法初始化动画线animatedline
函数。对于分类任务,创建训练准确性和训练损失的图表。当指定验证数据时,还初始化验证度量的动画行。
如果情节= =“训练进步”figure subplot(2,1,1) lineAccuracyTrain = animatedline;ylabel (“准确性”) subplot(2,1,2) lineLossTrain = animatedline;包含(“迭代”) ylabel (“损失”)如果~isempty(validationData) subplot(2,1,1) lineAccuracyValidation = animatedline;subplot(2,1,2) lineLossValidation = animatedline;结束结束
对于回归任务,通过更改变量名称和标签来调整代码,以便初始化训练和验证RMSE的图,而不是训练和验证的准确性。
在训练循环中,在迭代结束时,更新绘图,使其包含网络的适当度量。对于分类任务,添加对应于小批精度和小批损失的点。如果验证数据是非空的,并且当前迭代是验证频率选项的1或倍数,那么也要为验证数据添加点。
如果情节= =“训练进步”addpoints (lineAccuracyTrain迭代,accuracyTrain) addpoints (lineLossTrain,迭代,lossTrain)如果~isempty(validationData) && (iteration == 1 || mod(iteration,validationFrequency) == 0) addpoints(lineAccuracyValidation,iteration,accuracyValidation) addpoints(lineLossValidation,iteration,lossValidation)结束结束
accuracyTrain
和lossTrain
对应于模型梯度函数中计算的小批量精度和损失。对于回归任务,使用小批均方根误差损失而不是小批精度。
提示
的addpoints
函数要求数据点具有类型双
.从…中提取数字数据dlarray
对象,使用extractdata
函数。从GPU采集数据时,使用收集
函数。
要学习如何计算验证度量,请参见验证.
要在verbose表中显示训练期间的训练损失和准确度,请计算模型梯度函数中的小批量损失和准确度(用于分类任务)或RMSE(用于回归任务),并使用disp
函数。
要方便地指定verbose表应该打开或关闭,请创建变量详细的
和verboseFrequency
,在那里详细的
是真正的
或假
和verbosefrequency
指定打印详细输出之间的迭代次数。要显示验证指标,请使用相同的选项validationData
和validationFrequency
中描述的验证.
verbose = true verboseFrequency = 50;validationData = {XValidation, YValidation};validationFrequency = 50;
在训练之前,显示详细输出表标题并使用抽搐
函数。
disp ("|======================================================================================================================|") disp ("| Epoch | Iteration | Time Elapsed | Mini-batch | Validation | Mini-batch | Validation | Base Learning |") disp ("| | | (hh:mm:ss) | Accuracy | Accuracy | Loss | Loss | Rate |") disp ("|======================================================================================================================|") start = tic;
对于回归任务,调整代码,使其显示训练和验证的RMSE,而不是训练和验证的准确性。
在训练循环内部,在迭代结束时,打印详细的输出详细的
选择是真正的
它要么是第一次迭代,要么是迭代数的倍数verboseFrequency
.
如果== 0 D = duration(0,0,toc(start), 0,0)“格式”,“hh: mm: ss”);如果isempty(validationData) || mod(iteration,validationFrequency) ~= 0 accuracyValidation ="";lossValidation ="";结束disp (“|”+...垫(时代7“左”) +“|”+...垫(迭代,11日“左”) +“|”+...垫(D, 14日“左”) +“|”+...垫(accuracyTrain 12“左”) +“|”+...垫(accuracyValidation 12“左”) +“|”+...垫(lossTrain 12“左”) +“|”+...垫(lossValidation 12“左”) +“|”+...垫(learnRate 15“左”) +“|”)结束
对于回归任务,调整代码,使其显示训练和验证的RMSE,而不是训练和验证的准确性。
训练结束后,打印详细表的最后一个边框。
disp ("|======================================================================================================================|")
要学习如何计算验证度量,请参见验证.
设置小批量大小取决于数据格式或使用的数据存储类型。
要方便地指定迷你批处理大小,请创建一个变量miniBatchSize
.
miniBatchSize = 128;
对于图像数据存储中的数据,在训练之前,设置ReadSize
属性设置为迷你批处理大小。
洛桑国际管理发展学院。ReadSize = miniBatchSize;
对于增强图像数据存储中的数据,在训练之前,设置MiniBatchSize
属性设置为迷你批处理大小。
augimds。MiniBatchSize = MiniBatchSize;
对于内存中的数据,在每次迭代开始时的训练期间,直接从数组中读取观察值。
idx =((迭代- 1)*miniBatchSize + 1):(迭代*miniBatchSize);X = XTrain (:,:,:, idx);
指定在外部进行训练的最大纪元数为
训练循环的循环。
要方便地指定最大纪元数,请创建变量maxEpochs
包含了最大纪元数。
maxEpochs = 30;
在外面的为
训练循环的循环,指定在范围1,2,…上循环,maxEpochs
.
为时代= 1:maxEpochs...结束
为了在培训期间验证网络,留出一个保留的验证集,并评估网络对该数据的性能。
要方便地指定验证选项,请创建变量validationData
和validationFrequency
,在那里validationData
包含验证数据或为空且validationFrequency
指定验证网络之间的迭代次数。
validationData = {XValidation, YValidation};validationFrequency = 50;
在训练循环中,更新网络参数后,使用预测
函数。仅当指定了验证数据且该数据是第一次迭代或当前迭代是validationFrequency
选择。
如果|| mod(iteration,validationFrequency) == 0 dlYPredValidation = predict(dlnet,dlXValidation);lossValidation = crossentropy(softmax(dlYPredValidation), YValidation);[~, idx] = max (dlYPredValidation);labelsPredValidation =一会(idx);accuracyValidation = mean(labelsPredValidation == labelsValidation);结束
YValidation
是否有一个哑变量对应于其中的标签一会
.计算精度,转换YValidation
到标签数组。
对于回归任务,调整代码,使其计算验证的RMSE而不是验证的准确性。
要想在延迟验证的损失停止减少时尽早停止训练,可以使用一个标志来打破训练循环。
要方便地指定验证耐心(验证损失大于或等于网络训练停止前最小损失的次数),可以创建变量validationPatience
.
validationPatience = 5;
在训练之前,初始化一个变量earlyStop
和validationLosses
,在那里earlyStop
是提前停止训练的标志吗validationLosses
包含损失比较。初始化早期停止标志假
和验证损失的数组正
.
earlyStop = false;如果isfinite(validationPatience) validationLosses = inf(1,validationPatience);结束
在训练循环中,在小批量循环中,添加earlyStop
标记循环条件。
而hasdata (ds) & & ~ earlyStop...结束
在验证步骤中,将新的验证损失追加到数组中validationLosses
.如果数组的第一个元素是最小的,则设置earlyStop
旗帜真正的
.否则,删除第一个元素。
如果isfinite(validationPatience) validationLosses = [validationLosses validationLoss];如果min(validationLosses) == validationLosses(1)其他的validationLosses (1) = [];结束结束
应用L2正则化到权重,使用权重dlupdate
函数。
方便地指定L2正则化因子,创建变量l2Regularization
包含L2正则化因子。
l2Regularization = 0.0001;
在训练时,计算模型梯度后,对每个权重参数加上L的乘积2正则化因子和权重的计算梯度使用dlupdate
函数。若要仅更新权重参数,请提取带有名称的参数“重量”
.
idx = dlnet.Learnables.Parameter ==“重量”;gradient (idx,:) = dlupdate(@(g,w) g + l2Regularization*w, gradient (idx,:), dlnet.Learnables(idx,:)));
加上L之后2正则化参数的梯度,更新网络参数。
要剪辑渐变,请使用dlupdate
函数。
要方便地指定渐变剪辑选项,请创建变量gradientThresholdMethod
和gradientThreshold
,在那里gradientThresholdMethod
包含“global-l2norm”
,“l2norm”
,或“绝对值”
,gradientThreshold
一个正标量是否包含阈值正
.
gradientThresholdMethod =“global-l2norm”;gradientThreshold = 2;
创建函数命名thresholdGlobalL2Norm
,thresholdL2Norm
,thresholdAbsoluteValue
,应用“global-l2norm”
,“l2norm”
,“绝对值”
阈值方法,分别。
为“global-l2norm”
选项时,该函数对模型的所有梯度进行操作。
函数gradient = thresholdGlobalL2Norm(gradient,gradientThreshold) globalL2Norm = 0;为i = 1:numel(gradient) globalL2Norm = globalL2Norm + sum(gradient {i}(:).^2);结束globalL2Norm =√globalL2Norm);如果globalL2Norm > gradientThreshold normScale = gradientThreshold / globalL2Norm;为i = 1:numel(gradient) gradient {i} = gradient {i} * normScale;结束结束结束
为“l2norm”
和“绝对值”
选项,函数对每个梯度独立操作。
函数gradient = thresholdL2Norm(gradient,gradientThreshold) gradientNorm = sqrt(sum(gradients(:).^2));如果gradientNorm > gradientThreshold gradient = gradient * (gradientThreshold / gradientNorm);结束结束
函数gradient = thresholdAbsoluteValue(gradient,gradientThreshold) gradient (gradient > gradientThreshold) = gradientThreshold;gradient (gradient < -gradientThreshold) = -gradientThreshold;结束
在训练过程中,计算模型梯度后,使用dlupdate
函数。因为“global-l2norm”
选项要求所有的模型梯度,应用thresholdGlobalL2Norm
功能直接到梯度。为“l2norm”
和“绝对值”
选项,更新梯度独立使用dlupdate
函数。
开关gradientThresholdMethod情况下“global-l2norm”gradient = thresholdGlobalL2Norm(gradient, gradientThreshold);情况下“l2norm”gradient = dlupdate(@(g) thresholdL2Norm(g, gradientThreshold),gradient);情况下“绝对值”gradient = dlupdate(@(g) thresholdAbsoluteValue(g, gradientThreshold),gradient);结束
应用梯度阈值运算后,更新网络参数。
默认情况下,该软件只使用CPU进行计算。要在单个GPU上训练,将数据转换为gpuArray
对象。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息,请参见金宝appGPU支金宝app持情况(并行计算工具箱).
要方便地指定执行环境,请创建变量executionEnvironment
包含两“cpu”
,“图形”
,或“汽车”
.
executionEnvironment =“汽车”
在训练期间,读取一个小批后,检查执行环境选项,并将数据转换为gpuArray
如果有必要的话)。的canUseGPU
函数检查可用的图形处理器。
如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray (dlX);结束
在训练过程中保存检查点网络使用保存
函数。
要方便地指定是否应该打开检查点,可以创建变量checkpointPath
包含检查点网络的文件夹或为空。
checkpointPath = fullfile (tempdir,“检查点”);
如果检查点文件夹不存在,那么在培训之前,创建检查点文件夹。
如果~存在(checkpointPath“dir”mkdir (checkpointPath)结束
在训练期间,在纪元结束时,将网络保存在MAT文件中。指定包含当前迭代号、日期和时间的文件名。
如果~isempty(checkpointPath) D = datestr(now,“yyyy_mm_dd__HH_MM_SS”);文件名=“dlnet_checkpoint__”+迭代+“_”+ D +“.mat”;保存(文件名,“dlnet”)结束
dlnet
是dlnetwork
对象。
adamupdate
|dlarray
|dlfeval
|dlgradient
|dlnetwork
|dlupdate
|rmspropupdate
|sgdmupdate