在自定义训练循环中指定训练选项- MATLAB和Simulink金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

在自定义训练循环中指定训练选项

对于大多数任务，您可以使用trainingOptions和trainNetwork功能。如果trainingOptions函数不提供任务所需的选项(例如，自定义学习速率计划)，那么您可以使用dlnetwork对象。一个dlnetwork对象允许您使用自动区分来训练指定为层图的网络。

来指定相同的选项trainingOptions，可以使用以下例子作为指导:

培训选项	`trainingOptions`论点	例子
亚当解算器	`solverName` `“GradientDecayFactor”` `“SquaredGradientDecayFactor”`	自适应矩估计(ADAM)
RMSProp解算器	`solverName` `‘ε’`	均方根传播(RMSProp)
个解算器	`solverName` `“动量”`	随机动量梯度下降法(SGDM)
学习速率	`“InitialLearnRate”`	学习速率
学习产量表	`“LearnRateSchedule”` `“LearnRateDropPeriod”` `“LearnRateDropFactor”`	分段学习速率计划
培训进展	`“阴谋”`	情节
详细输出	`“详细”` `“VerboseFrequency”`	详细输出
Mini-batch大小	`“MiniBatchSize”`	Mini-Batch大小
数量的时代	`“MaxEpochs”`	数量的时代
验证	`ValidationData` `“ValidationPatience”`	验证
l₂正则化	`“L2Regularization”`	L2正规化
梯度剪裁	`“GradientThreshold”` `“GradientThresholdMethod”`	梯度剪裁
单CPU或GPU训练	`“ExecutionEnvironment”`	单CPU或GPU培训
检查点	`“CheckpointPath”`	检查点

解算器选项

要指定求解器，请使用adamupdate，rmspropupdate,sgdmupdate函数用于训练循环中的更新步骤。要实现您自己的自定义求解器，请使用dlupdate函数。

自适应矩估计(ADAM)

要使用亚当更新网络参数，请使用adamupdate函数。使用相应的输入参数指定梯度衰减和平方梯度衰减因子。

均方根传播(RMSProp)

要使用RMSProp更新网络参数，请使用rmspropupdate函数。使用相应的输入参数指定分母偏移量()值。

随机动量梯度下降法(SGDM)

要使用SGDM更新网络参数，请使用sgdmupdate函数。使用相应的输入参数指定动量。

学习速率

的学习速率输入参数可指定学习速率adamupdate，rmspropupdate,sgdmupdate功能。

为了方便地调整学习速率或将其用于自定义学习速率计划，请在自定义训练循环之前设置初始学习速率。

learnRate = 0.01;

分段学习速率计划

使用分段学习速率计划在训练过程中自动降低学习速率，在指定的间隔后将学习速率乘以给定的下降因子。

为了方便地指定分段学习速率计划，创建变量learnRate，learnRateSchedule，learnRateDropFactor,learnRateDropPeriod,在那里learnRate为初始学习率，learnRateScedule包含两“分段”或“没有”，learnRateDropFactor在[0,1]范围内的标量指定了放弃学习率的因素，和learnRateDropPeriod是一个正整数，指定在丢弃学习率之间有多少个纪元。

learnRate = 0.01;learnRateSchedule =“分段”learnRateDropPeriod = 10;learnRateDropFactor = 0.1;

在训练循环中，在每个epoch的末尾，降低学习率learnRateSchedule选择是“分段”当前的历元数是learnRateDropPeriod．设置新的学习率为学习率和学习率下降因子的乘积。

如果learnRateSchedule = =“分段”&& mod(epoch,learnRateDropPeriod) == 0 learnRate = learnRate *结束

情节

为了在训练过程中绘制训练损失和精度，计算小批量损失和模型梯度函数中的精度或均方根误差(RMSE)，并使用动画线绘制它们。

要方便地指定应该打开或关闭图形，请创建变量情节包含两“训练进步”或“没有”．要绘制验证度量，请使用相同的选项validationData和validationFrequency中描述的验证．

情节=“训练进步”；validationData = {XValidation, YValidation};validationFrequency = 50;

方法初始化动画线animatedline函数。对于分类任务，创建训练准确性和训练损失的图表。当指定验证数据时，还初始化验证度量的动画行。

如果情节= =“训练进步”figure subplot(2,1,1) lineAccuracyTrain = animatedline;ylabel (“准确性”) subplot(2,1,2) lineLossTrain = animatedline;包含(“迭代”) ylabel (“损失”）如果~isempty(validationData) subplot(2,1,1) lineAccuracyValidation = animatedline;subplot(2,1,2) lineLossValidation = animatedline;结束结束

对于回归任务，通过更改变量名称和标签来调整代码，以便初始化训练和验证RMSE的图，而不是训练和验证的准确性。

在训练循环中，在迭代结束时，更新绘图，使其包含网络的适当度量。对于分类任务，添加对应于小批精度和小批损失的点。如果验证数据是非空的，并且当前迭代是验证频率选项的1或倍数，那么也要为验证数据添加点。

如果情节= =“训练进步”addpoints (lineAccuracyTrain迭代,accuracyTrain) addpoints (lineLossTrain,迭代,lossTrain)如果~isempty(validationData) && (iteration == 1 || mod(iteration,validationFrequency) == 0) addpoints(lineAccuracyValidation,iteration,accuracyValidation) addpoints(lineLossValidation,iteration,lossValidation)结束结束

在哪里accuracyTrain和lossTrain对应于模型梯度函数中计算的小批量精度和损失。对于回归任务，使用小批均方根误差损失而不是小批精度。

提示

的addpoints函数要求数据点具有类型双．从…中提取数字数据dlarray对象,使用extractdata函数。从GPU采集数据时，使用收集函数。

要学习如何计算验证度量，请参见验证．

详细输出

要在verbose表中显示训练期间的训练损失和准确度，请计算模型梯度函数中的小批量损失和准确度(用于分类任务)或RMSE(用于回归任务)，并使用disp函数。

要方便地指定verbose表应该打开或关闭，请创建变量详细的和verboseFrequency,在那里详细的是真正的或假和verbosefrequency指定打印详细输出之间的迭代次数。要显示验证指标，请使用相同的选项validationData和validationFrequency中描述的验证．

verbose = true verboseFrequency = 50;validationData = {XValidation, YValidation};validationFrequency = 50;

在训练之前，显示详细输出表标题并使用抽搐函数。

disp ("|======================================================================================================================|") disp ("| Epoch | Iteration | Time Elapsed | Mini-batch | Validation | Mini-batch | Validation | Base Learning |") disp ("| | | (hh:mm:ss) | Accuracy | Accuracy | Loss | Loss | Rate |") disp ("|======================================================================================================================|") start = tic;

对于回归任务，调整代码，使其显示训练和验证的RMSE，而不是训练和验证的准确性。

在训练循环内部，在迭代结束时，打印详细的输出详细的选择是真正的它要么是第一次迭代，要么是迭代数的倍数verboseFrequency．

如果== 0 D = duration(0,0,toc(start)， 0,0)“格式”，“hh: mm: ss”）;如果isempty(validationData) || mod(iteration,validationFrequency) ~= 0 accuracyValidation =＂"；lossValidation =＂"；结束disp (“|”+．..垫(时代7“左”) +“|”+．..垫(迭代,11日“左”) +“|”+．..垫(D, 14日“左”) +“|”+．..垫(accuracyTrain 12“左”) +“|”+．..垫(accuracyValidation 12“左”) +“|”+．..垫(lossTrain 12“左”) +“|”+．..垫(lossValidation 12“左”) +“|”+．..垫(learnRate 15“左”) +“|”）结束

对于回归任务，调整代码，使其显示训练和验证的RMSE，而不是训练和验证的准确性。

训练结束后，打印详细表的最后一个边框。

disp ("|======================================================================================================================|"）

要学习如何计算验证度量，请参见验证．

Mini-Batch大小

设置小批量大小取决于数据格式或使用的数据存储类型。

要方便地指定迷你批处理大小，请创建一个变量miniBatchSize．

miniBatchSize = 128;

对于图像数据存储中的数据，在训练之前，设置ReadSize属性设置为迷你批处理大小。

洛桑国际管理发展学院。ReadSize = miniBatchSize;

对于增强图像数据存储中的数据，在训练之前，设置MiniBatchSize属性设置为迷你批处理大小。

augimds。MiniBatchSize = MiniBatchSize;

对于内存中的数据，在每次迭代开始时的训练期间，直接从数组中读取观察值。

idx =((迭代- 1)*miniBatchSize + 1):(迭代*miniBatchSize);X = XTrain (:,:,:, idx);

数量的时代

指定在外部进行训练的最大纪元数为训练循环的循环。

要方便地指定最大纪元数，请创建变量maxEpochs包含了最大纪元数。

maxEpochs = 30;

在外面的为训练循环的循环，指定在范围1,2，…上循环，maxEpochs．

为时代= 1:maxEpochs．..结束

验证

为了在培训期间验证网络，留出一个保留的验证集，并评估网络对该数据的性能。

要方便地指定验证选项，请创建变量validationData和validationFrequency,在那里validationData包含验证数据或为空且validationFrequency指定验证网络之间的迭代次数。

validationData = {XValidation, YValidation};validationFrequency = 50;

在训练循环中，更新网络参数后，使用预测函数。仅当指定了验证数据且该数据是第一次迭代或当前迭代是validationFrequency选择。

如果|| mod(iteration,validationFrequency) == 0 dlYPredValidation = predict(dlnet,dlXValidation);lossValidation = crossentropy(softmax(dlYPredValidation)， YValidation);[~, idx] = max (dlYPredValidation);labelsPredValidation =一会(idx);accuracyValidation = mean(labelsPredValidation == labelsValidation);结束

在这里,YValidation是否有一个哑变量对应于其中的标签一会．计算精度，转换YValidation到标签数组。

对于回归任务，调整代码，使其计算验证的RMSE而不是验证的准确性。

早期停止

要想在延迟验证的损失停止减少时尽早停止训练，可以使用一个标志来打破训练循环。

要方便地指定验证耐心(验证损失大于或等于网络训练停止前最小损失的次数)，可以创建变量validationPatience．

validationPatience = 5;

在训练之前，初始化一个变量earlyStop和validationLosses,在那里earlyStop是提前停止训练的标志吗validationLosses包含损失比较。初始化早期停止标志假和验证损失的数组正．

earlyStop = false;如果isfinite(validationPatience) validationLosses = inf(1,validationPatience);结束

在训练循环中，在小批量循环中，添加earlyStop标记循环条件。

而hasdata (ds) & & ~ earlyStop．..结束

在验证步骤中，将新的验证损失追加到数组中validationLosses．如果数组的第一个元素是最小的，则设置earlyStop旗帜真正的．否则，删除第一个元素。

如果isfinite(validationPatience) validationLosses = [validationLosses validationLoss];如果min(validationLosses) == validationLosses(1)其他的validationLosses (1) = [];结束结束

l₂正则化

应用L₂正则化到权重，使用权重dlupdate函数。

方便地指定L₂正则化因子，创建变量l2Regularization包含L₂正则化因子。

l2Regularization = 0.0001;

在训练时，计算模型梯度后，对每个权重参数加上L的乘积₂正则化因子和权重的计算梯度使用dlupdate函数。若要仅更新权重参数，请提取带有名称的参数“重量”．

idx = dlnet.Learnables.Parameter ==“重量”；gradient (idx，:) = dlupdate(@(g,w) g + l2Regularization*w, gradient (idx，:)， dlnet.Learnables(idx，:)));

加上L之后₂正则化参数的梯度，更新网络参数。

梯度剪裁

要剪辑渐变，请使用dlupdate函数。

要方便地指定渐变剪辑选项，请创建变量gradientThresholdMethod和gradientThreshold,在那里gradientThresholdMethod包含“global-l2norm”，“l2norm”,或“绝对值”,gradientThreshold一个正标量是否包含阈值正．

gradientThresholdMethod =“global-l2norm”；gradientThreshold = 2;

创建函数命名thresholdGlobalL2Norm，thresholdL2Norm,thresholdAbsoluteValue,应用“global-l2norm”，“l2norm”,“绝对值”阈值方法,分别。

为“global-l2norm”选项时，该函数对模型的所有梯度进行操作。

函数gradient = thresholdGlobalL2Norm(gradient,gradientThreshold) globalL2Norm = 0;为i = 1:numel(gradient) globalL2Norm = globalL2Norm + sum(gradient {i}(:).^2);结束globalL2Norm =√globalL2Norm);如果globalL2Norm > gradientThreshold normScale = gradientThreshold / globalL2Norm;为i = 1:numel(gradient) gradient {i} = gradient {i} * normScale;结束结束结束

为“l2norm”和“绝对值”选项，函数对每个梯度独立操作。

函数gradient = thresholdL2Norm(gradient,gradientThreshold) gradientNorm = sqrt(sum(gradients(:).^2));如果gradientNorm > gradientThreshold gradient = gradient * (gradientThreshold / gradientNorm);结束结束

函数gradient = thresholdAbsoluteValue(gradient,gradientThreshold) gradient (gradient > gradientThreshold) = gradientThreshold;gradient (gradient < -gradientThreshold) = -gradientThreshold;结束

在训练过程中，计算模型梯度后，使用dlupdate函数。因为“global-l2norm”选项要求所有的模型梯度，应用thresholdGlobalL2Norm功能直接到梯度。为“l2norm”和“绝对值”选项，更新梯度独立使用dlupdate函数。

开关gradientThresholdMethod情况下“global-l2norm”gradient = thresholdGlobalL2Norm(gradient, gradientThreshold);情况下“l2norm”gradient = dlupdate(@(g) thresholdL2Norm(g, gradientThreshold)，gradient);情况下“绝对值”gradient = dlupdate(@(g) thresholdAbsoluteValue(g, gradientThreshold)，gradient);结束

应用梯度阈值运算后，更新网络参数。

单CPU或GPU培训

默认情况下，该软件只使用CPU进行计算。要在单个GPU上训练，将数据转换为gpuArray对象。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU支金宝app持情况(并行计算工具箱)．

要方便地指定执行环境，请创建变量executionEnvironment包含两“cpu”，“图形”,或“汽车”．

executionEnvironment =“汽车”

在训练期间，读取一个小批后，检查执行环境选项，并将数据转换为gpuArray如果有必要的话)。的canUseGPU函数检查可用的图形处理器。

如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray (dlX);结束

检查点

在训练过程中保存检查点网络使用保存函数。

要方便地指定是否应该打开检查点，可以创建变量checkpointPath包含检查点网络的文件夹或为空。

checkpointPath = fullfile (tempdir,“检查点”）;

如果检查点文件夹不存在，那么在培训之前，创建检查点文件夹。

如果~存在(checkpointPath“dir”mkdir (checkpointPath)结束

在训练期间，在纪元结束时，将网络保存在MAT文件中。指定包含当前迭代号、日期和时间的文件名。

如果~isempty(checkpointPath) D = datestr(now，“yyyy_mm_dd__HH_MM_SS”）;文件名=“dlnet_checkpoint__”+迭代+“_”+ D +“.mat”；保存(文件名,“dlnet”）结束

在哪里dlnet是dlnetwork对象。

另请参阅