RMSProupdate
使用均方根传播(RMSProp)更新参数
语法
描述
使用均方根传播（RMSProp）算法更新自定义训练循环中的网络可学习参数。
请注意
该函数应用RMSProp优化算法更新自定义训练循环中的网络参数，使用定义为dlnetwork对象或模型函数。如果你想训练一个网络定义为层数组或作为LayerGraph，使用以下功能:
创建一个
TrainingOptionsRMSProp对象使用培训选项函数。
［更新网络的可学习参数数据链路，averageSqGrad]=rmspropupdate(数据链路，毕业生，averageSqGrad）数据链路使用RMSProp算法。在训练循环中使用此语法迭代地更新定义为dlnetwork对象
［中可学习参数的更新参数个数，averageSqGrad]=rmspropupdate(参数个数，毕业生，averageSqGrad）参数个数使用RMSProp算法。在训练循环中使用此语法以迭代方式更新使用函数定义的网络的可学习参数。
［＿＿＿]=rmspropupdate(＿＿＿除了前面语法中的输入参数外，还指定用于全局学习速率、平方梯度衰减和小常数ε的值。学习者，sqGradDecay，ε）
例子
使用更新可学习的参数RMSProupdate
执行单个均方根传播更新步骤，全局学习率为0．05梯度衰减因子的平方0.95．
将参数和参数梯度创建为数字数组。
参数=兰德（3,3,4）；梯度=一（3,3,4）；
初始化第一次迭代的平均平方梯度。
averageSqGrad=[]；
指定全局学习速率和平方梯度衰减因子的自定义值。
learnRate = 0.05;sqGradDecay = 0.95;
使用RMSProupdate．
[params, averageSqGrad] = rmspropupdate (params,研究生,averageSqGrad learnRate, sqGradDecay);
训练网络使用RMSProupdate
使用RMSProupdate使用均方根传播（RMSProp）算法训练网络。
负荷训练数据
加载数字训练数据。
[XTrain, YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses =元素个数(类);
定义网络
定义网络架构并指定图像平均值“的意思是”选项在图像输入层。
[imageInputLayer([28 28 1]，])，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，“conv1”) reluLayer (“名字”，“relu1”20岁的)convolution2dLayer (3“填充”,1，“名字”，“conv2”) reluLayer (“名字”，“relu2”20岁的)convolution2dLayer (3“填充”,1，“名字”，“conv3”) reluLayer (“名字”，“relu3”)完全连接层（NumClass，“名字”，“fc”) softmaxLayer (“名字”，“softmax”)]; lgraph=层图（层）；
创建一个dlnetwork对象从层图。
dlnet = dlnetwork (lgraph);
定义模型梯度函数
创建helper函数modelGradients，列在示例的最后。函数接受dlnetwork对象数据链路以及一小批输入数据dlX与相应的标签Y，并返回损失和损失相对于中可学习参数的梯度数据链路．
指定培训选项
指定在培训期间使用的选项。
miniBatchSize=128；numEpochs=20；numObservations=numel（YTrain）；NumIteOptionsPerAppch=floor（numObservations./miniBatchSize）；
在GPU上训练(如果有的话)。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持的设备的信息，请参见金宝appGPU支金宝app持情况（并行计算工具箱）．
executionEnvironment =“汽车”；
在一个情节中想象训练的进展。
情节=“培训进度”；
列车网络的
使用自定义的训练循环训练模型。对于每个历元，洗牌数据并在小批量数据上循环。使用RMSProupdate功能。在每个历元结束时，显示训练进度。
初始化训练进度图。
如果阴谋==“培训进度”figure lineLossTrain=动画线(“颜色”[0.85 0.325 0.098]);ylim([0正])包含(“迭代”)伊拉贝尔(“损失”网格)在…上结束
初始化平方平均梯度。
averageSqGrad=[]；
培训网络。
迭代= 0;开始=抽搐;为历元=1:numEpochs%洗牌数据。idx=randperm（numel（YTrain））；XTrain=XTrain（：，：，：，idx）；YTrain=YTrain（idx）；为i=1:numIterationsPerEpoch迭代=迭代+1；读取小批数据，并将标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);Y = 0 (numClasses, miniBatchSize，“单一”）;为c = 1:numClasses Y(c,YTrain(idx))==class (c)) = 1;结束将小批数据转换为元数据。dlX = dlarray(单(X),“SSCB”）;%如果在GPU上进行训练，则将数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“gpu”dlX=gpuArray（dlX）；结束%使用dlfeval和%模型梯度辅助功能。[梯度，损失]=dlfeval（@modelGradients，dlnet，dlX，Y）；%使用RMSProp优化器更新网络参数。[dlnet，averageSqGrad]=RMSProupUpdate（dlnet，梯度，averageSqGrad）；%显示训练进度。如果阴谋==“培训进度”D=持续时间（0,0，toc（开始），“格式”，“hh: mm: ss”）;addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(“时代：”+时代+”,过去:“+字符串（D）现在开始结束结束结束
测试网络
通过将测试集上的预测与真实标签进行比较，检验模型的分类精度。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为dlarray与尺寸格式“SSCB”．对于GPU预测，也将数据转换为gpuArray．
dlXTest = dlarray (XTest,“SSCB”）;如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“gpu”dlXTest=gpuArray（dlXTest）；结束
使用dlnetwork对象,使用预测函数并找到得分最高的类。
dlYPred =预测(dlnet dlXTest);[~, idx] = max (extractdata (dlYPred), [], 1);YPred =类(idx);
评估分类精度。
精度=意味着(YPred = =次)
精度=0.9860
模型梯度函数
辅助函数modelGradients需要dlnetwork对象数据链路以及一小批输入数据dlX与相应的标签Y,并返回损失和损失相对于可学习参数的梯度数据链路．要自动计算梯度，请使用梯度函数。
作用[梯度，损失]=模型梯度（dlnet，dlX，Y）dlYPred=正向（dlnet，dlX）；损失=交叉熵（dlYPred，Y）；梯度=dlgradient（损失，dlnet.Learnables）；结束
输入参数
输出参数
更多关于
兼容性考虑
扩展功能
您还可以从以下列表中选择网站：
