adamupdate
使用自适应更新参数矩估计(亚当)
语法
描述
更新网络可学的参数在一个定制的培训循环使用自适应估计时刻(亚当)算法。
请注意
这个函数应用亚当优化算法来更新网络参数定义为自定义训练循环使用网络dlnetwork对象或函数模型。如果你想训练一个网络定义为一个层数组或作为一个LayerGraph,使用以下功能:
创建一个
TrainingOptionsADAM对象使用trainingOptions函数。使用
TrainingOptionsADAM对象的trainNetwork函数。
(更新网络的可学的参数netUpdated,averageGrad,averageSqGrad)= adamupdate (净,研究生,averageGrad,averageSqGrad,迭代)净用亚当的算法。使用这种语法训练循环迭代更新网络定义为一个dlnetwork对象。
(更新可学的参数参数个数,averageGrad,averageSqGrad)= adamupdate (参数个数,研究生,averageGrad,averageSqGrad,迭代)参数个数用亚当的算法。使用这种语法训练循环迭代更新可学的网络使用函数定义的参数。
(___)= adamupdate (___还指定了值用于全球学习速率梯度衰变,平方梯度衰变,和小常数ε,除了输入参数在以前的语法。learnRate,gradDecay,sqGradDecay,ε)
例子
更新可学的参数使用adamupdate
执行一个自适应估计时刻更新步骤全球学习的速度0.05梯度的衰减系数0.75,平方梯度的衰减系数0.95。
创建参数和参数渐变为数值型数组。
params =兰德(3、3、4);研究生= 1 (3、3、4);
初始化迭代计数器、平均梯度和第一个迭代的平均平方梯度。
迭代= 1;averageGrad = [];averageSqGrad = [];
指定自定义值全球学习速率梯度衰减系数和衰减系数平方梯度。
learnRate = 0.05;gradDecay = 0.75;sqGradDecay = 0.95;
更新可学的参数使用adamupdate。
[params, averageGrad averageSqGrad] = adamupdate (params,研究生,averageGrad, averageSqGrad,迭代,learnRate, gradDecay, sqGradDecay);
更新迭代计数器。
迭代=迭代+ 1;
列车网络的使用adamupdate
使用adamupdate使用亚当算法来训练网络。
负荷训练数据
加载数字训练数据。
[XTrain, TTrain] = digitTrain4DArrayData;类=类别(TTrain);numClasses =元素个数(类);
定义网络
定义网络和使用指定图像的平均价值的意思是选择在图像输入层。
层= [imageInputLayer ([28 28 1],“的意思是”,意味着(XTrain 4) convolution2dLayer (5、20) reluLayer convolution2dLayer (3 20“填充”20岁的,1)reluLayer convolution2dLayer (3“填充”1)reluLayer fullyConnectedLayer (numClasses) softmaxLayer];
创建一个dlnetwork数组对象的层。
网= dlnetwork(层);
定义模型损失函数
创建一个helper函数modelLoss最后,列出的例子。函数接受一个dlnetwork对象和一个mini-batch输入数据与相应的标签,并返回损失和损失的梯度对可学的参数。
指定培训选项
培训期间指定要使用的选项。
miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(TTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);
列车网络的
初始化培训进展阴谋。
图C = colororder;lineLossTrain = animatedline (“颜色”C (:));ylim([0正])包含(“迭代”)ylabel (“损失”网格)在
初始化平均梯度和的平方平均梯度。
averageGrad = [];averageSqGrad = [];
火车模型使用自定义训练循环。对于每一个时代,洗牌和遍历mini-batches数据的数据。更新网络参数使用adamupdate函数。在每个时代,显示培训进展。
火车在GPU上,如果一个是可用的。使用GPU需要并行计算工具箱™和支持GPU设备。金宝app支持设备的信息,请参阅金宝appGPU的金宝app支持版本(并行计算工具箱)。
迭代= 0;开始=抽搐;为时代= 1:numEpochs%洗牌数据。idx = randperm(元素个数(TTrain));XTrain = XTrain (:,:,:, idx);TTrain = TTrain (idx);为i = 1: numIterationsPerEpoch迭代=迭代+ 1;%读mini-batch数据和标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);T = 0 (numClasses miniBatchSize,“单身”);为T (c, c = 1: numClasses TTrain (idx) = =类(c)) = 1;结束% dlarray mini-batch的数据转换。X = dlarray(单(X)“SSCB”);%如果训练在GPU,然后将数据转换成一个gpuArray。如果canUseGPU X = gpuArray (X);结束%计算模型和梯度使用dlfeval损失% modelLoss函数。(损失,梯度)= dlfeval (@modelLoss,净,X, T);%更新使用亚当优化网络参数。[净,averageGrad averageSqGrad] = adamupdate(净、渐变averageGrad averageSqGrad,迭代);%显示培训进展。D =持续时间(0,0,toc(开始),“格式”,“hh: mm: ss”);=双重损失(损失);addpoints (lineLossTrain、迭代、失去)标题(”时代:“+时代+”,过去:“+ drawnow字符串(D))结束结束
测试网络
测试模型的分类精度通过比较测试集上的预测与真正的标签。
(XTest, tt) = digitTest4DArrayData;
将数据转换成dlarray维度的格式“SSCB”(空间、空间、通道、批)。GPU预测,也将数据转换成gpuArray。
XTest = dlarray (XTest,“SSCB”);如果canUseGPU XTest = gpuArray (XTest);结束
使用分类图像dlnetwork对象,使用预测函数和找到类最高的分数。
欧美=预测(净,XTest);[~,idx] = max (extractdata(欧美),[],1);欧美=类(idx);
评估分类精度。
精度=意味着(欧美= = tt)
精度= 0.9900
损失函数模型
的modelLosshelper函数接受一个dlnetwork对象净和mini-batch输入数据X与相应的标签T,并返回损失和损失的梯度对可学的参数净。自动计算梯度,使用dlgradient函数。
函数(损失,梯度)= modelLoss(净,X, T) Y =前进(净,X);损失= crossentropy (Y, T);梯度= dlgradient(损失、net.Learnables);结束
