adamupdate
使用自适应矩估计(Adam)更新参数
语法
描述
使用自适应矩估计(Adam)算法更新自定义训练回路中的网络可学习参数。
请注意
该函数应用Adam优化算法更新自定义训练循环中的网络参数，该训练循环使用定义为的网络dlnetwork对象或模型函数。如果你想训练一个定义为层数组或作为LayerGraph，使用以下功能:
创建一个
TrainingOptionsADAM对象。trainingOptions函数。使用
TrainingOptionsADAM对象。trainNetwork函数。
［更新网络的可学习参数dlnet，averageGrad，averageSqGrad= adamupdate()dlnet，研究生，averageGrad，averageSqGrad，迭代）dlnet用亚当算法。在训练循环中使用此语法迭代地更新定义为dlnetwork对象。
［更新中的可学习参数参数个数，averageGrad，averageSqGrad= adamupdate()参数个数，研究生，averageGrad，averageSqGrad，迭代）参数个数用亚当算法。在训练循环中使用此语法迭代地更新使用函数定义的网络的可学习参数。
［＿＿＿= adamupdate()＿＿＿除了前面语法中的输入参数外，还指定用于全局学习率、梯度衰减、平方梯度衰减和小常数epsilon的值。learnRate，gradDecay，sqGradDecay，ε）
例子
使用更新可学习参数adamupdate
以全局学习率执行单个自适应矩估计更新步骤0．05的梯度衰减因子0.75的梯度衰减因子的平方0.95。
将参数和参数梯度创建为数字数组。
Params = rand(3,3,4);Grad = ones(3,3,4);
初始化第一次迭代的迭代计数器、平均梯度和平均梯度的平方。
迭代= 1;averageGrad = [];averageSqGrad = [];
为全局学习率、梯度衰减因子和平方梯度衰减因子指定自定义值。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
使用更新可学习参数adamupdate。
[params, averaggrad,averageSqGrad] = adamupdate(params,grad, averageSqGrad, averageSqGrad，迭代，learnRate,gradDecay,sqGradDecay);
更新迭代计数器。
迭代=迭代+ 1;
列车网络的使用adamupdate
使用adamupdate用亚当算法训练一个网络。
负荷训练数据
加载数字训练数据。
[XTrain,YTrain] = digitTrain4DArrayData;class = categories(YTrain);numClasses = nummel (classes);
定义网络
定义网络并指定平均图像值“的意思是”选项中的图像输入层。
layers = [imageInputLayer([28 28 1]，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，“conv1”) reluLayer (“名字”，“relu1”20岁的)convolution2dLayer (3“填充”, 1“名字”，“conv2”) reluLayer (“名字”，“relu2”20岁的)convolution2dLayer (3“填充”, 1“名字”，“conv3”) reluLayer (“名字”，“relu3”) fullyConnectedLayer (numClasses“名字”，“俱乐部”) softmaxLayer (“名字”，“softmax”));lgraph = layerGraph(layers);
创建一个dlnetwork对象从层图。
Dlnet = dlnetwork(lgraph);
定义模型梯度函数
创建辅助函数modelGradients，在示例末尾列出。函数取adlnetwork对象dlnet还有一小批输入数据dlX有相应的标签Y,并返回损失以及损失相对于中可学习参数的梯度dlnet。
指定培训方案
指定培训期间要使用的选项。
miniBatchSize = 128;nummepochs = 20;numobobservations = numel(YTrain);numIterationsPerEpoch = floor(nummobobservations ./miniBatchSize);
在GPU上训练，如果有的话。使用GPU需要Parallel Computing Toolbox™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝app不同版本金宝app的GPU支持(并行计算工具箱)。
executionEnvironment =“汽车”；
将训练过程形象化。
情节=“训练进步”；
列车网络的
使用自定义训练循环训练模型。对于每个epoch，打乱数据并循环小批数据。更新网络参数adamupdate函数。在每个epoch结束时，显示训练进度。
初始化训练进度图。
如果情节= =“训练进步”figure lineLossTrain = animatedline(“颜色”，[0.85 0.325 0.098]);Ylim ([0 inf]) xlabel(“迭代”) ylabel (“损失”网格)在结束
初始化平均梯度和平均梯度的平方。
averageGrad = [];averageSqGrad = [];
训练网络。
迭代= 0;Start = tic;为epoch = 1: nummepochs% Shuffle数据。idx = randperm(nummel (YTrain));XTrain = XTrain(:，:，:，idx);YTrain = YTrain(idx);为i = 1:numIterationsPerEpoch迭代=迭代+ 1;读取小批量数据并将标签转换为虚拟%变量。idx = (i-1)*miniBatchSize+1:i*miniBatchSize;X = XTrain(:，:，:，idx);Y = 0 (numClasses, miniBatchSize，“单一”）;为c = 1:numClasses Y(c,YTrain(idx)==classes(c)) = 1;结束将小批量数据转换为数组。dlX = dlarray(single(X));“SSCB”）;如果在GPU上训练，那么将数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray(dlX);结束%使用dlfeval和% modelGradients辅助函数。[grad,loss] = dlfeval(@modelGradients,dlnet,dlX,Y);使用Adam优化器更新网络参数。[dlnet,averageGrad,averageSqGrad] = adamupdate(dlnet,grad,averageGrad,averageSqGrad，迭代);%显示培训进度。如果情节= =“训练进步”D = duration(0,0,toc(start));“格式”，“hh: mm: ss”）;addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(”时代:“+ epoch +“，流逝:”+ string(D)) drawnow结束结束结束
测试网络
通过比较测试集上的预测与真实标签来测试模型的分类准确性。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为adlarray使用维度格式“SSCB”。对于GPU预测，也将数据转换为agpuArray。
dlXTest = darray (XTest;“SSCB”）;如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlXTest = gpuArray(dlXTest);结束
对图像进行分类dlnetwork对象，则使用预测函数并找到得分最高的类。
dlYPred = predict(dlnet,dlXTest);[~，idx] = max(extractdata(dlYPred)，[]，1);YPred = classes(idx);
评估分类的准确性。
准确度=平均值(YPred==YTest)
精度= 0.9896
模型梯度函数
的modelGradients辅助函数接受dlnetwork对象dlnet还有一小批输入数据dlX有相应的标签Y，并返回损失以及损失相对于中可学习参数的梯度dlnet。要自动计算梯度，请使用dlgradient函数。
函数[gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX);loss = crossentropy(dlYPred,Y);gradients = dlgradient(loss,dlnet.Learnables);结束
