rmspropupdate
使用均方根传播(RMSProp)更新参数
语法
描述
使用均方根传播(RMSProp)算法更新自定义训练循环中的网络可学习参数。
请注意
该函数应用RMSProp优化算法来更新自定义训练循环中的网络参数，该循环使用定义为的网络dlnetwork对象或模型函数。如果你想训练一个定义为a的网络层数组或作为LayerGraph，使用以下函数:
创建一个
TrainingOptionsRMSProp对象使用trainingOptions函数。
［更新网络的可学习参数dlnet，averageSqGrad= rmspropupdate(dlnet，研究生，averageSqGrad）dlnet使用RMSProp算法。在训练循环中使用此语法可迭代更新定义为的网络dlnetwork对象。
［中更新可学习参数参数个数，averageSqGrad= rmspropupdate(参数个数，研究生，averageSqGrad）参数个数使用RMSProp算法。在训练循环中使用此语法迭代更新使用函数定义的网络的可学习参数。
［___= rmspropupdate(___还指定除了前面语法中的输入参数外，用于全局学习率、平方梯度衰减和小常数epsilon的值。learnRate，sqGradDecay，ε）
例子
使用更新可学习参数rmspropupdate
执行一个全局学习率为的均方根传播更新步骤0.05的平方梯度衰减因子0.95．
将参数和参数梯度创建为数值数组。
Params = rand(3,3,4);Grad = ones(3,3,4);
初始化第一次迭代的平均梯度平方。
averageSqGrad = [];
指定全局学习率和平方梯度衰减因子的自定义值。
learnRate = 0.05;sqGradDecay = 0.95;
使用更新可学习参数rmspropupdate．
[params,averageSqGrad] = rmspropupdate(params,grad,averageSqGrad,learnRate,sqGradDecay);
训练网络rmspropupdate
使用rmspropupdate使用均方根传播(RMSProp)算法训练网络。
负荷训练数据
加载数字训练数据。
[XTrain,YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses = nummel(类);
定义网络
属性定义网络体系结构并指定平均图像值“的意思是”选项在图像输入层。
图层= [imageInputLayer([28 28 1]，“名字”，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”，“conv1”) reluLayer (“名字”，“relu1”20岁的)convolution2dLayer (3“填充”，1,“名字”，“conv2”) reluLayer (“名字”，“relu2”20岁的)convolution2dLayer (3“填充”，1,“名字”，“conv3”) reluLayer (“名字”，“relu3”) fullyConnectedLayer (numClasses“名字”，“俱乐部”) softmaxLayer (“名字”，“softmax”));lgraph = layerGraph(图层);
创建一个dlnetwork对象从图层图。
Dlnet = dlnetwork(lgraph);
定义模型梯度函数
创建helper函数modelGradients，在示例的末尾列出。函数的参数为dlnetwork对象dlnet和一小批输入数据dlX有相应的标签Y，并返回损失以及损失相对于中可学习参数的梯度dlnet．
指定培训项目
指定在培训期间使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations = numel(YTrain);numIterationsPerEpoch = floor(numObservations./miniBatchSize);
在GPU上训练(如果有的话)。使用GPU需要并行计算工具箱™和受支持的GPU设备。金宝app有关受支持设备的信息，请参见金宝appGPU支金宝app持版本(并行计算工具箱)．
executionEnvironment =“汽车”；
将训练过程可视化。
情节=“训练进步”；
列车网络的
使用自定义训练循环训练模型。对于每个纪元，洗牌数据并在小批量数据上循环。方法更新网络参数rmspropupdate函数。在每个纪元结束时，显示训练进度。
初始化培训进度图。
如果情节= =“训练进步”图lineLossTrain = animatedline(“颜色”，[0.85 0.325 0.098]);Ylim ([0 inf]) xlabel(“迭代”) ylabel (“损失”网格)在结束
初始化平均梯度的平方。
averageSqGrad = [];
培训网络。
迭代= 0;开始= tic;为epoch = 1:numEpochs% Shuffle数据。idx = randperm(数字(YTrain));XTrain = XTrain(:，:，:，idx);YTrain = YTrain(idx);为i = 1:numIterationsPerEpoch迭代=迭代+ 1;读取小批数据并将标签转换为虚拟标签%变量。idx = (i-1)*miniBatchSize+1:i*miniBatchSize;X = XTrain(:，:，:，idx);Y = 0 (numClasses, miniBatchSize，“单一”）;为Y(c,YTrain(idx)==classes(c)) = 1;结束将小批数据转换为大数组。dlX = dlarray(single(X))，“SSCB”）;如果在GPU上训练，则将数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlX = gpuArray(dlX);结束使用dlfeval和帮助函数。[gradients,loss] = dlfeval(@modelGradients,dlnet,dlX,Y);使用RMSProp优化器更新网络参数。[dlnet,averageSqGrad] = rmspropupdate(dlnet,gradients,averageSqGrad);%显示培训进度。如果情节= =“训练进步”D = duration(0,0,toc(start)，“格式”，“hh: mm: ss”）;addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(”时代:“+ epoch +，消失:"+字符串(D))现在绘制结束结束结束
测试网络
通过比较测试集上的预测与真实标签来测试模型的分类准确性。
[XTest, YTest] = digitTest4DArrayData;
将数据转换为adlarray带尺寸格式“SSCB”．对于GPU预测，也将数据转换为agpuArray．
dlXTest = darray (XTest，“SSCB”）;如果(executionEnvironment = =“汽车”&& canUseGPU) || executionEnvironment ==“图形”dlXTest = gpuArray(dlXTest);结束
对图像进行分类dlnetwork对象时，使用预测计算并找出得分最高的课程。
dlYPred = predict(dlnet,dlXTest);[~，idx] = max(extractdata(dlYPred)，[]，1);YPred = classes(idx);
评估分类准确率。
accuracy = mean(YPred==YTest)
准确度= 0.9860
模型梯度函数
辅助函数modelGradients需要一个dlnetwork对象dlnet和一小批输入数据dlX有相应的标签Y,并返回的损失和梯度的损失相对于的可学习参数dlnet．要自动计算梯度，请使用dlgradient函数。
函数[gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX);loss = crossentropy(dlYPred,Y);gradients = dlgradient(loss,dlnet.Learnables);结束
输入参数
输出参数
更多关于
兼容性的考虑
扩展功能
您也可以从以下列表中选择一个网站:
