convGradients功能

该convGradients辅助函数使用卷积运算的可以学习的参数和一个小批量的输入数据的DLX，并返回梯度相对于所述可学习参数。

功能梯度= convGradients（DLX，则params）DLY = dlconv（DLX，params.Weights，params.Bias）;DLY =总和（DLY，'所有');毕业生= dlgradient(海底,params);结束

负荷训练数据

加载数字训练数据。

[XTrain，YTrain] = digitTrain4DArrayData;类=类别（YTrain）;numClasses = numel（类）;

定义网络

定义网络架构，并使用指定的平均图像价值“的意思是”选项在图像输入层。

图层= [imageInputLayer([28281])，'名称'，“输入”，“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年'名称'，'CONV1'）reluLayer（'名称'，“relu1”）convolution2dLayer（3,20，“填充”,1'名称'，'CONV2'）reluLayer（'名称'，'relu2'）convolution2dLayer（3,20，“填充”,1'名称'，'conv3'）reluLayer（'名称'，'relu3'）fullyConnectedLayer（numClasses，'名称'，'FC'）];lgraph = layerGraph（层）;

创建一个dlnetwork对象从层图。

dlnet = dlnetwork（lgraph）;

定义模型梯度函数

创建辅助函数modelGradients，列于本例末尾。该功能需要一个dlnetwork宾语dlnet和小批量的输入数据的DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。

定义随机梯度下降功能

创建辅助函数sgdFunction，列于本例末尾。的函数参数和paramGradient中，可学习参数和损失相对于该参数，分别与返回更新的参数使用随机梯度下降算法的梯度，表示为

哪里 $\mathit{升}$是迭代次数， $\alpha >0$是学习率， $\theta$是参数向量，并 $\mathit{Ë}（\theta ）$为损失函数。

指定培训选项

指定在培训期间使用的选项。

miniBatchSize = 128;numEpochs = 20;numObservations = numel（YTrain）;numIterationsPerEpoch =地板（numObservations./miniBatchSize）;

在GPU上训练，如果有的话。使用GPU需要并行计算工具箱™和CUDA®启用NVIDIA®GPU计算能力3.0或更高。

执行环境=“汽车”;

初始化速度参数。

learnRate = 0.001;

初始化训练进度情节。

地块=“训练进度”;如果地块==“训练进度”迭代= 1;图lineLossTrain = animatedline;xlabel（“总迭代”）ylabel（“失利”）结束

列车网络

培养使用自定义的训练循环模型。对于每一个时代，洗牌对数据的小批量数据和循环。更新通过调用网络参数dlupdate与功能sgdFunction定义在本例的末尾。在每个epoch结束时，显示训练进度。

对于历元= 1：numEpochs％随机数据。IDX = randperm（numel（YTrain））;XTrain = XTrain（：，：，：，IDX）;YTrain = YTrain（IDX）;对于I = 1：numIterationsPerEpoch数据的读％小批量和转换标签哑％变量。IDX =（I-1）* miniBatchSize + 1：我* miniBatchSize;X = XTrain（：，：，：，IDX）;Y =零（numClasses，miniBatchSize，“单一”);对于C = 1：numClasses Y（C，YTrain（IDX）==类（C））= 1;结束将小批数据转换为dlarray。DLX = dlarray（单（X），'SSCB');％如果在GPU上训练，然后数据转换为gpuArray。如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“GPU”DLX = gpuArray（DLX）;结束％评估模型梯度和损失使用dlfeval和％modelGradients助手功能。[毕业，损耗] = dlfeval（@ modelGradients，dlnet，DLX，Y）;％更新使用SGD算法的网络参数中所定义的% sgdFunction辅助函数。dlnet = dlupdate（@ sgdFunction，dlnet，毕业）;％显示训练进度。如果地块==“训练进度”addpoints（lineLossTrain，迭代，双（聚（ExtractData由（亏损））））标题（“训练中的损失:新纪元-”+划时代+”;迭代——“+ I）的DrawNow迭代=迭代+ 1;结束结束结束

测试网络

通过在测试集与真标签的预测比较测试模型的分类精度。

[XTest, YTest] = digitTest4DArrayData;

转换数据到dlarray与尺寸格式'SSCB'。对于GPU的预测，也将数据转换为gpuArray。

dlXTest = dlarray（XTEST，'SSCB');如果(executionEnvironment = =“汽车”&& canUseGPU）||执行环境==“GPU”dlXTest = gpuArray（dlXTest）;结束

要使用图像分类dlnetwork对象,使用预测工作，并找到得分最高的类。

dlYPred =预测（dlnet，dlXTest）;[〜，IDX] = MAX（ExtractData由（dlYPred），[]，1）;YPred =类（IDX）;

评估分类的准确性。

精度=平均值（YPred == YTest）

精度= 0.7282

型号渐变功能

辅助函数modelGradients需要dlnetwork宾语dlnet和小批量的输入数据的DLX与相应的标签ÿ，返回损耗和损失相对于在梯度的可学习参数dlnet。自动计算梯度，使用dlgradient功能。

功能[梯度，损耗] = modelGradients（dlnet，DLX，Y）= dlYPred向前（dlnet，DLX）;dlYPred = SOFTMAX（dlYPred）;损耗= crossentropy（dlYPred，Y）;梯度= dlgradient（损失，dlnet.Learnables）;结束

随机梯度下降功能

辅助函数sgdFunction需要参数和paramGradient中，可学习参数和损失相对于分别该参数的梯度，并返回使用随机梯度下降算法更新的参数，表示为

哪里 $\mathit{升}$是迭代次数， $\alpha >0$是学习率， $\theta$是参数向量，并 $\mathit{Ë}（\theta ）$为损失函数。

功能PARAM = sgdFunction（PARAM，paramGradient）learnRate = 0.01;。PARAM =参数 -  learnRate * paramGradient;结束