convGradients函数

这convGradients辅助函数接受卷积操作的可学习参数和一小批输入数据DLX.，并相对于可知参数返回梯度。

函数d = dlconv(dlX,params. weights,params. bias);海底=总和(海底,'全部')；梯度=dlgradient（dlY，params）；结尾

负荷训练数据

加载数字训练数据。

[xtrain，ytrain] = DigitTrain4darraydata;Classes =类别（YTrain）;numclasses = numel（类）;

定义网络

定义网络架构并使用该网络架构指定平均图像值“中庸”图像输入层中的选项。

层=[imageInputLayer（[28 1]，'姓名'那'输入'那“中庸”，平均（XTrain，4））卷积2层（5,20，'姓名'那“conv1”）剥离（'姓名'那“relu1”)卷积2层（3,20，“填充”1.'姓名'那'conv2'）剥离（'姓名'那“relu2”)卷积2层（3,20，“填充”1.'姓名'那'conv3'）剥离（'姓名'那“relu3”) fullyConnectedLayer (numClasses'姓名'那“俱乐部”));lgraph = layerGraph(层);

创建一个数据链路网络对象从图层图中删除。

dlnet = dlnetwork（3）;

定义模型渐变函数

创建helper函数模型梯度，列在本例末尾。该函数a数据链路网络目的dlnet以及一小批输入数据DLX.有相应的标签y，并返回关于可学习参数的丢失和损失的渐变dlnet。

定义随机梯度下降函数

创建helper函数sgdFunction，列在本例末尾。该函数param和paramGradient，可学习参数和相对于该参数的损耗的渐变，并使用随机梯度血换算法返回更新的参数，表示为

在哪里 $\mathit{L.}$是迭代号码， $\alpha >0.$是学习率， $\theta$是参数矢量，还有 $\mathit{E.}（\theta ）$是损失函数。

指定培训选项

指定培训期间要使用的选项。

miniBatchSize = 128;numEpochs = 20;numObservations =元素个数(YTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);

在GPU上训练（如果有）。使用GPU需要并行计算工具箱™ 以及支持CUDA®的NVIDIA®GPU，具有3.0或更高的计算能力。

executionenvironment =“自动”;

初始化速度参数。

learnRate=0.001；

初始化培训进度图。

plots =.“训练进步”;如果情节= =“训练进步”迭代= 1;figure lineLossTrain = animatedline;包含(“总迭代”) ylabel (“损失”）结尾

火车网络

使用自定义训练循环训练模型。对于每个epoch，洗牌数据并在小批数据上循环。通过调用来更新网络参数dlupdate.用这个功能sgdFunction在本例末尾定义。在每个历元末尾，显示培训进度。

为了时代= 1:numEpochs%洗牌数据。idx = randperm(元素个数(YTrain));XTrain = XTrain (:,:,:, idx);YTrain = YTrain (idx);为了我= 1:numIterationsPerEpoch％读取迷你批次数据并将标签转换为虚拟％变量。IDX =（I-1）*小匹匹配+ 1：i *小匹匹配;x = XTrain（：：：：，IDX）;y =零（numcrasses，minibatchsize，“单身”）;为了c = 1：numclasses y（c，ytrain（idx）==类（c））= 1;结尾%将小批量数据转换为dlarray。dlx = dlarray（单（x），“SSCB”）;％如果在GPU上培训，则将数据转换为GPUArray。如果（b）执行环境==“自动”&& canusegpu）||executionenvironment ==.“图形”dlX = gpuArray (dlX);结尾使用dlfeval和％MASEMGRADENTERS帮助函数。[毕业，损失] = dlfeval（@ maposgradients，dlnet，dlx，y）;%使用中定义的SGD算法更新网络参数%sgdFunction辅助函数。dlnet = dlupdate（@ sgdfunction，dlnet，毕业）;％显示培训进度。如果情节= =“训练进步”Addpoints（LineLoStrain，迭代，Double（收集（提取数据（丢失））））标题（“训练期间的损失：历元-+ epoch +“迭代——”+ i）绘制迭代=迭代+ 1;结尾结尾结尾

测试网络

通过将测试集上的预测与真实标签进行比较，检验模型的分类精度。

[XTest，YTest]=Digittest4ArrayData；

将数据转换为dlarray.具有维度格式“SSCB”。对于GPU预测，还将数据转换为agpuArray。

dlxtest = dlarray（xtest，“SSCB”）;如果（b）执行环境==“自动”&& canusegpu）||executionenvironment ==.“图形”dlXTest = gpuArray (dlXTest);结尾

使用a对图像进行分类数据链路网络对象，使用预测函数查找得分最高的类。

dlypred =预测（Dlnet，dlxtest）;[〜，idx] = max（提取数据（dlypred），[]，1）;Ypred =类（IDX）;

评估分类准确度。

精度=均值（Ypred == ytest）

精度=0.7282

模型梯度函数

辅助函数模型梯度需要一个数据链路网络目的dlnet以及一小批输入数据DLX.有相应的标签y，并返回关于可学习参数的丢失和损失的渐变dlnet。要自动计算渐变，请使用dlgradient功能。

函数[gradient,loss] = modelGradients(dlnet,dlX,Y)dlYPred = softmax (dlYPred);损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结尾

随机梯度下降功能

辅助函数sgdFunction需要param和paramGradient，分别得到一个可学习参数和损失相对于该参数的梯度，并使用随机梯度下降算法返回更新后的参数，表示为

在哪里 $\mathit{L.}$是迭代号码， $\alpha >0.$是学习率， $\theta$是参数矢量，还有 $\mathit{E.}（\theta ）$是损失函数。

函数param = sgdfunction（param，paramgradient）学习= 0.01;param = param  - 学习。* paramgradient;结尾