rmspropupdate
使用均方根传播(RMSProp)更新参数
语法
描述
使用均方根传播(RMSProp)算法在自定义训练循环中更新网络可学习参数。
请注意
该函数应用RMSProp优化算法更新自定义训练循环中的网络参数，使用定义为dlnetwork对象或模型函数。如果你想训练一个网络定义为层数组或LayerGraph，使用以下功能:
创建一个
TrainingOptionsRMSProp对象使用trainingOptions函数。
［更新网络的可学习参数dlnet，averageSqGrad) = rmspropupdate (dlnet，研究生，averageSqGrad）dlnet使用RMSProp算法。在训练循环中使用此语法迭代地更新定义为dlnetwork对象。
［中可学习参数的更新参数个数，averageSqGrad) = rmspropupdate (参数个数，研究生，averageSqGrad）参数个数使用RMSProp算法。在训练循环中使用此语法，迭代地更新使用函数定义的网络的可学习参数。
［＿＿＿) = rmspropupdate (＿＿＿除了前面语法中的输入参数外，还指定了用于全局学习率、平方梯度衰减和小常数的值。learnRate，sqGradDecay，ε）
例子
更新可学习参数使用rmspropupdate
执行单个均方根传播更新步骤，全局学习率为０．０５梯度衰减因子的平方0.95．
将参数和参数梯度创建为数字数组。
params =兰德(3、3、4);研究生= 1(3、3、4);
初始化第一次迭代的平均平方梯度。
averageSqGrad = [];
为全局学习率和平方梯度衰减因子指定自定义值。
learnRate = 0.05;sqGradDecay = 0.95;
使用rmspropupdate．
[params, averageSqGrad] = rmspropupdate (params,研究生,averageSqGrad learnRate, sqGradDecay);
训练网络使用rmspropupdate
使用rmspropupdate使用均方根传播(RMSProp)算法训练网络。
负荷训练数据
加载数字训练数据。
[XTrain, YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses =元素个数(类);
定义网络
定义网络架构并指定图像平均值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，“conv1”) reluLayer (“名字”，“relu1”20岁的)convolution2dLayer (3“填充”，1，“名字”，“conv2”) reluLayer (“名字”，“relu2”20岁的)convolution2dLayer (3“填充”，1，“名字”，“conv3”) reluLayer (“名字”，“relu3”) fullyConnectedLayer (numClasses“名字”，“俱乐部”) softmaxLayer (“名字”，“softmax”));lgraph = layerGraph(层);
创建一个dlnetwork对象从层图。
dlnet = dlnetwork (lgraph);
定义模型梯度函数
创建helper函数modelGradients，列在示例的最后。函数接受dlnetwork对象dlnet以及一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度dlnet．
指定培训选项
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(YTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);
在GPU上训练(如果有的话)。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU支金宝app持情况(并行计算工具箱)．
executionEnvironment =“汽车”；
在一个情节中想象训练的进展。
情节=“训练进步”；
列车网络的
使用自定义训练循环训练模型。对于每个epoch，洗牌数据并在小批数据上循环。使用rmspropupdate函数。在每个纪元的末尾，展示训练的进展情况。
初始化培训进度图。
如果情节= =“训练进步”figure lineosstrain = animatedline(“颜色”[0.85 0.325 0.098]);ylim([0正])包含(“迭代”) ylabel (“损失”网格)在结束
初始化平均梯度的平方。
averageSqGrad = [];
培训网络。
迭代= 0;开始=抽搐;为时代= 1:numEpochs%洗牌数据。idx = randperm(元素个数(YTrain));XTrain = XTrain (:,:,:, idx);YTrain = YTrain (idx);为i = 1:numIterationsPerEpoch iteration = iteration + 1;读取小批数据，并将标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);Y = 0 (numClasses, miniBatchSize，“单一”）;为c = 1:numClasses Y(c,YTrain(idx))==class (c)) = 1;结束将小批数据转换为元数据。dlX = dlarray(单(X),“SSCB”）;%如果在GPU上进行训练，则将数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray (dlX);结束使用dlfeval和%模型梯度辅助功能。(渐变,亏损)= dlfeval (@modelGradients, dlnet dlX Y);%使用RMSProp优化器更新网络参数。[dlnet, averageSqGrad] = rmspropupdate (dlnet、渐变averageSqGrad);%显示训练进度。如果情节= =“训练进步”D =持续时间(0,0,toc(开始),“格式”，“hh: mm: ss”）;addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(”时代:“+时代+”,过去:“+ drawnow字符串(D))结束结束结束
测试网络
通过将测试集上的预测与真实标签进行比较，检验模型的分类精度。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为dlarray与尺寸格式“SSCB”．对于GPU预测，也将数据转换为gpuArray．
dlXTest = dlarray (XTest,“SSCB”）;如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlXTest = gpuArray (dlXTest);结束
对图像进行分类dlnetwork对象,使用预测函数查找得分最高的类。
dlYPred =预测(dlnet dlXTest);[~, idx] = max (extractdata (dlYPred), [], 1);YPred =类(idx);
评估分类精度。
精度=意味着(YPred = =次)
精度= 0.9860
模型梯度函数
辅助函数modelGradients需要一个dlnetwork对象dlnet以及一小批输入数据dlX与相应的标签Y,并返回损失和损失相对于可学习参数的梯度dlnet．要自动计算梯度，请使用dlgradient函数。
函数[gradient,loss] = modelGradients(dlnet,dlX,Y)损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结束
输入参数
输出参数
更多关于
兼容性的考虑
扩展功能
你也可以从以下列表中选择一个网站:
