adamupdate
使用Adaptive Sonment估算更新参数（亚当）
语法
描述
使用自适应矩估计(Adam)算法在自定义训练循环中更新网络可学习参数。
请注意
该函数应用Adam优化算法更新自定义训练循环中的网络参数，使用定义为dlnetwork.对象或模型函数。如果你想训练一个网络定义为层数组或作为一个LayerGraph，使用以下功能：
创建一个
TrainingOptionsADAM对象使用trainingOptions函数。使用
TrainingOptionsADAM对象与之trainNetwork函数。
(更新网络的可学习参数dlnet，averageGrad，averageSqGrad) = adamupdate (dlnet，毕业，averageGrad，averageSqGrad，迭代）dlnet用亚当算法。在训练循环中使用此语法迭代地更新定义为dlnetwork.对象。
(更新可知参数参数个数，averageGrad，averageSqGrad) = adamupdate (参数个数，毕业，averageGrad，averageSqGrad，迭代）参数个数用亚当算法。在训练循环中使用此语法，迭代地更新使用函数定义的网络的可学习参数。
(＿＿＿) = adamupdate (＿＿＿除了前面语法中的输入参数外，还指定了用于全局学习率、梯度衰减、平方梯度衰减和小常数的值。learnRate，gradDecay，sqgraddecay.，埃斯利昂）
例子
更新可学习参数使用adamupdate
执行具有全局学习率的单个Adaptive Mony估算更新步骤0．05，梯度衰减因子０．７５，梯度衰减因子的平方０．９５。
将参数和参数梯度创建为数字数组。
Params = Rand（3,3,4）;毕业=那些（3,3,4）;
初始化第一次迭代的迭代计数器、平均梯度和平均平方梯度。
迭代= 1;averageGrad = [];averageSqGrad = [];
为全局学习率，渐变衰减因子和平方梯度衰减因子指定自定义值。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
使用adamupdate。
[params, averageGrad averageSqGrad] = adamupdate (params,研究生,averageGrad, averageSqGrad,迭代,learnRate, gradDecay, sqGradDecay);
更新迭代计数器。
迭代=迭代+ 1;
使用火车网络adamupdate
使用adamupdate使用ADAM算法训练网络。
负荷训练数据
加载数字训练数据。
[XTrain, YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses =元素个数(类);
定义网络
属性定义网络并指定平均图像值'意思'选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，'意思'，平均值（XTrain，4））卷积2dlayer（5,20，“名字”，“conv1”) reluLayer (“名字”，'relu1'）卷积2dlayer（3,20，'填充'，1，“名字”，“conv2”) reluLayer (“名字”，“relu2”）卷积2dlayer（3,20，'填充'，1，“名字”，“conv3”) reluLayer (“名字”，“relu3”) fullyConnectedLayer (numClasses“名字”，“俱乐部”) softmaxLayer (“名字”，'softmax'));lgraph = layerGraph(层);
创建一个dlnetwork.来自图层图的对象。
dlnet = dlnetwork (lgraph);
定义模型渐变功能
创建辅助功能大型摩托地，列在示例的末尾。该功能需要一个dlnetwork.对象dlnet和迷你输入数据dlX有相应的标签y，并返回损失和损失相对于可学习参数的梯度dlnet。
指定培训选项
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(YTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);
在GPU上火车，如果有一个可用的话。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持设备的信息，请参阅金宝appGPU通金宝app过发布支持（并行计算工具箱）。
executionEnvironment =“汽车”；
在一个情节中想象训练的进展。
情节=“训练进步”；
列车网络的
使用自定义训练循环训练模型。对于每个epoch，洗牌数据并在小批数据上循环。使用adamupdate函数。在每个时代结束时，显示培训进度。
初始化培训进度图。
如果情节= =“训练进步”figure lineosstrain = animatedline('颜色'[0.85 0.325 0.098]);ylim([0正])包含(“迭代”) ylabel (“损失”） 网格在结束
初始化平均梯度和平方平均梯度。
averageGrad = [];averageSqGrad = [];
培训网络。
迭代= 0;start = tic;为时代= 1:numEpochs%洗牌数据。IDX = RANDPERM（NUMER（YTRAIN））;XTrain = XTrain（：，：，：，IDX）;YTrain = YTrain（IDX）;为i = 1:numIterationsPerEpoch iteration = iteration + 1;读取小批数据，并将标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);Y = 0 (numClasses, miniBatchSize，'单身的'）;为c = 1:numClasses Y(c,YTrain(idx))==class (c)) = 1;结束将小批数据转换为元数据。dlX = dlarray(单(X),'SSCB'）;%如果在GPU上进行训练，则将数据转换为gpuArray。如果（execultenvironment ==.“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray (dlX);结束使用dlfeval和%模型梯度辅助功能。(研究生,亏损)= dlfeval (@modelGradients, dlnet dlX Y);％使用ADAM Optimizer更新网络参数。[dlnet，sharmergrad，averagesqgrad] = adamupdate（Dlnet，毕业，普利特格德，平均QGrad，迭代）;%显示训练进度。如果情节= =“训练进步”D =持续时间(0,0,toc(开始),'格式'，'hh：mm：ss'）;Addpoints（LineLoStrain，迭代，Double（收集（提取数据（丢失）））标题（”时代:“+时代+”,过去:“+ drawnow字符串(D))结束结束结束
测试网络
通过比较真实标签的测试集的预测来测试模型的分类准确性。
[xtest，ytest] = digittest4darraydata;
将数据转换为dlarray使用维度格式'SSCB'。对于GPU预测，也将数据转换为GPUARRAY.。
dlXTest = dlarray (XTest,'SSCB'）;如果（execultenvironment ==.“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlXTest = gpuArray (dlXTest);结束
对图像进行分类dlnetwork.对象，使用预测函数并找到具有最高分的类。
dlYPred =预测(dlnet dlXTest);[~, idx] = max (extractdata (dlYPred), [], 1);YPred =类(idx);
评估分类精度。
精度=意味着(YPred = =次)
精度= 0.9896
模型梯度函数
的大型摩托地Helper函数接受dlnetwork.对象dlnet和迷你输入数据dlX有相应的标签Y，并返回损失和损失相对于中可学习参数的梯度dlnet。要自动计算梯度，请使用dlgradient函数。
函数[梯度，损失] = Maposgradients（DLNET，DLX，Y）Dlypry =前进（DLNET，DLX）;损失=联语（Dlypred，Y）;梯度= Dlgradient（损失，DLNET.LEALNABLE）;结束
输入参数
输出参数
更多关于
扩展能力
你也可以从以下列表中选择一个网站:
