adamupdate.
使用Adaptive Sonment估算更新参数（ADAM）
句法
描述
使用自适应时刻估计（ADAM）算法在自定义训练循环中更新网络学习参数。
笔记
此功能适用于ADAM优化算法以更新使用定义为的网络的自定义培训循环中的网络参数dlnetwork.对象或模型功能。如果您想训练定义为a的网络层数组或作为一个分层图，使用以下功能：
创建一个
TrainingOptionsAdam.对象使用培训选项功能。使用
TrainingOptionsAdam.对象与之Trainnetwork.功能。
[更新网络的可知参数DLNET.那平均普利德那AveragesQgrad.] = adamupdate（DLNET.那毕业那平均普利德那AveragesQgrad.那迭代）DLNET.使用ADAM算法。在训练循环中使用此语法来迭代地更新定义为a的网络dlnetwork.目的。
[更新可知参数参数那平均普利德那AveragesQgrad.] = adamupdate（参数那毕业那平均普利德那AveragesQgrad.那迭代）参数使用ADAM算法。在训练循环中使用此语法来迭代地更新使用函数定义的网络的学习参数。
[___] = adamupdate（___除了先前语法中的输入参数之外，还指定用于全局学习速率，渐变衰减，方梯度衰减和小常量ePsilon的值。学习那Graddecay那Sqgraddecay那埃斯利昂）
例子
使用可学习参数使用adamupdate.
执行具有全局学习率的单个Adaptive Mony估算更新步骤0.05，梯度衰减因子0.75和平方梯度衰减因子0.95。
创建参数和参数渐变作为数字阵列。
Params = Rand（3,3,4）;毕业=那些（3,3,4）;
初始化第一迭代的迭代计数器，平均梯度和平均平均平均梯度。
迭代= 1;平均= [];averagesqgrad = [];
为全局学习率，渐变衰减因子和平方梯度衰减因子指定自定义值。
学习= 0.05;Graddecay = 0.75;Sqgraddecay = 0.95;
使用可读参数使用adamupdate.。
[params，sparedgrad，averagesqgrad] = adamupdate（params，grad，sharmergrad，averagesqgrad，reateration，shearchrate，graddecay，sqgraddecay）;
更新迭代计数器。
迭代=迭代+ 1;
火车网络使用adamupdate.
采用adamupdate.使用ADAM算法训练网络。
负载培训数据
加载数字训练数据。
[xtrain，ytrain] = Digittrain4darraydata;Classes =类别（YTrain）;numclasses = numel（类）;
定义网络
定义网络并使用该网络指定平均图像值'意思'选项在图像输入层中。
图层= [imageInputLayer（[28 28 1]，'名称'那'输入'那'意思'，平均值（xtrain，4））卷积2dlayer（5,20，'名称'那'conv1'）剥离（'名称'那'relu1'）卷积2dlayer（3,20，'填充'，1，'名称'那'conv2'）剥离（'名称'那'relu2'）卷积2dlayer（3,20，'填充'，1，'名称'那'conv3'）剥离（'名称'那'relu3'）全连接列（numcrasses，'名称'那'fc'）softmaxlayer（'名称'那'softmax'）];Lgraph = LayerGraph（层）;
创建一个dlnetwork.来自图层图的对象。
dlnet = dlnetwork（3）;
定义模型渐变功能
创建辅助功能MapicalGRADENTERS.，列在示例的末尾。该功能需要一个dlnetwork.目的DLNET.和迷你批次输入数据DLX.具有相应的标签y，并返回丢失和丢失的损失和学习参数的损失DLNET.。
指定培训选项
指定在培训期间使用的选项。
minibatchsize = 128;numepochs = 20;numobservations = numel（ytrain）;numiterationsperepoch = bloor（numobservation./minibatchsize）;
在GPU上的火车，如果有的话。使用GPU需要并行计算工具箱™和支持的GPU设备。金宝app有关支持设备的信息，请参阅金宝appGPU通金宝app过发布支持（并行计算工具箱）。
executionenvironment =“汽车”;
可视化情节中的培训进度。
plots =.“培训 - 进展”;
火车网络
使用自定义训练循环训练模型。对于每个epoch，将数据和循环扫描迷你批次数据。使用使用的网络参数更新网络参数adamupdate.功能。在每个时代结束时，显示培训进度。
初始化培训进度情节。
如果plots ==“培训 - 进展”图lineloSstrain =动画线（'颜色'，[0.85 0.325 0.098]）;ylim（[0 inf]）xlabel（“迭代”）ylabel（“损失”） 网格在结尾
初始化平均渐变和平均梯度。
平均= [];averagesqgrad = [];
训练网络。
迭代= 0;start = tic;为了epoch = 1：numepochs％Shuffle数据。IDX = RANDPERM（NUMER（YTrain））;XTrain = XTrain（：，：，idx）;YTrain = Ytrain（IDX）;为了i = 1：numiterationsPerepoch迭代=迭代+ 1;％读取迷你批次数据并将标签转换为虚拟％变量。IDX =（I-1）*小匹匹配+ 1：i *小匹匹配;x = XTrain（：：：：，IDX）;y =零（numcrasses，minibatchsize，'单身的'）;为了c = 1：numclasses y（c，ytrain（idx）==类（c））= 1;结尾％将mini批次数据转换为dlarray。dlx = dlarray（单（x），'SSCB'）;％如果在GPU上培训，则将数据转换为GPUArray。如果（execultenvironment ==.“汽车”&& canusegpu）||executionenvironment ==.“GPU”DLX = GPUARRAY（DLX）;结尾％使用dlfeval和dlfeval评估模型渐变和损失％MASEMGRADENTERS帮助函数。[毕业，损失] = dlfeval（@ maposgradients，dlnet，dlx，y）;％使用ADAM Optimizer更新网络参数。[dlnet，sultergrad，averagesqgrad] = adamupdate（dlnet，毕业，普利特普拉德，平均qgrad，迭代）;％显示培训进度。如果plots ==“培训 - 进展”d =持续时间（0,0，toc（start），'格式'那'hh：mm：ss'）;Addpoints（LineLoStrain，迭代，Double（收集（提取数据（丢失））））标题（“时代：”+ epoch +“，经过：”+字符串（d））绘制结尾结尾结尾
测试网络
通过比较真实标签的测试集上的预测来测试模型的分类准确性。
[xtest，ytest] = digittest4darraydata;
将数据转换为adlarray.具有维度格式'SSCB'。对于GPU预测，还将数据转换为aGPUArray.。
dlxtest = dlarray（xtest，'SSCB'）;如果（execultenvironment ==.“汽车”&& canusegpu）||executionenvironment ==.“GPU”dlxtest = gpuarray（dlxtest）;结尾
使用a对图像进行分类dlnetwork.对象，使用预测函数并找到最高分数的类。
dlypred =预测（Dlnet，dlxtest）;[〜，idx] = max（提取数据（dlypred），[]，1）;Ypred =类（IDX）;
评估分类准确性。
精度=均值（Ypred == ytest）
精度= 0.9896.
模型梯度函数
这MapicalGRADENTERS.帮助函数需要一个dlnetwork.目的DLNET.和迷你批次输入数据DLX.具有相应的标签y，并返回关于可学习参数的丢失和损失的渐变DLNET.。要自动计算渐变，请使用Dlgradient.功能。
功能[梯度，损失] = MaposGRADENTERS（DLNET，DLX，Y）DLYPRED =前进（DLNET，DLX）;损失=联肾上腺素（Dlypred，Y）;梯度= DLGRADIET（损失，DLNET.LEALNABLE）;结尾
输入参数
输出参数
更多关于
扩展能力
您还可以从以下列表中选择一个网站：
