convGradients函数

的convGradientshelper函数卷积操作的可学的参数和mini-batch输入数据dlX,并返回梯度对可学的参数。

函数梯度= convGradients (dlX params)海底= dlconv (dlX, params.Weights params.Bias);海底=总和(海底,“所有”);梯度= dlgradient(海底,params);结束

负荷训练数据

加载数字训练数据。

[XTrain, YTrain] = digitTrain4DArrayData;类=类别(YTrain);numClasses =元素个数(类);

定义网络

定义网络体系结构和使用指定图像的平均价值“的意思是”选择在图像输入层。

层= [imageInputLayer ([28 28 1],“名字”,“输入”,“的意思是”意味着(XTrain 4)) convolution2dLayer(5年,20年“名字”,“conv1”)reluLayer (“名字”,“relu1”20岁的)convolution2dLayer (3“填充”,1“名字”,“conv2”)reluLayer (“名字”,“relu2”20岁的)convolution2dLayer (3“填充”,1“名字”,“conv3”)reluLayer (“名字”,“relu3”)fullyConnectedLayer (numClasses“名字”,“俱乐部”)softmaxLayer (“名字”,“softmax”));lgraph = layerGraph(层);

创建一个dlnetwork对象的层图。

dlnet = dlnetwork (lgraph);

定义模型梯度函数

创建一个helper函数modelGradients年底上市,这个例子。函数接受一个dlnetwork对象dlnet和mini-batch输入数据dlX与相应的标签Y,并返回损失和损失的梯度对可学的参数dlnet。

定义了随机梯度下降功能

创建一个helper函数sgdFunction年底上市,这个例子。的函数参数和paramGradient可学的参数和损失对参数的梯度,分别并返回更新后的参数使用随机梯度下降算法,表示为

在哪里 $\mathit{l}$是迭代数, $\alpha >0$是学习速率, $\theta$是参数向量, $\mathit{E}\left(\theta \right)$损失函数。

指定培训选项

培训期间指定要使用的选项。

miniBatchSize = 128;numEpochs = 30;numObservations =元素个数(YTrain);numIterationsPerEpoch =地板(numObservations. / miniBatchSize);

指定学习速率。

learnRate = 0.01;

火车在GPU上,如果一个是可用的。使用GPU需要并行计算工具箱™和支持GPU设备。金宝app支持设备的信息,请参阅金宝appGPU的金宝app支持版本(并行计算工具箱)。

executionEnvironment =“汽车”;

可视化培训进展阴谋。

情节=“训练进步”;

列车网络的

火车模型使用自定义训练循环。对于每一个时代,洗牌和遍历mini-batches数据的数据。通过调用更新网络参数dlupdate与函数sgdFunction定义在这个例子。在每个时代,显示培训进展。

初始化培训进展阴谋。

如果情节= =“训练进步”图lineLossTrain = animatedline (“颜色”[0.85 0.325 0.098]);ylim([0正])包含(“迭代”)ylabel (“损失”网格)在结束

培训网络。

迭代= 0;开始=抽搐;为时代= 1:numEpochs%洗牌数据。idx = randperm(元素个数(YTrain));XTrain = XTrain (:,:,:, idx);YTrain = YTrain (idx);为i = 1: numIterationsPerEpoch迭代=迭代+ 1;%读mini-batch数据和标签转换为假%变量。idx =(张)* miniBatchSize + 1:我* miniBatchSize;X = XTrain (:,:,:, idx);Y = 0 (numClasses miniBatchSize,“单一”);为c = 1: numClasses Y (c, YTrain (idx) = =类(c)) = 1;结束% dlarray mini-batch的数据转换。dlX = dlarray(单(X),“SSCB”);%如果训练在GPU,然后将数据转换成一个gpuArray。如果(executionEnvironment = =“汽车”& & canUseGPU) | | executionEnvironment = =“图形”dlX = gpuArray (dlX);结束%计算模型使用dlfeval和梯度和损失% modelGradients helper函数。(渐变,亏损)= dlfeval (@modelGradients, dlnet dlX Y);%更新网络参数使用SGD算法中定义% sgdFunction helper函数。updateFcn = @ (dlnet梯度)sgdFunction (dlnet、渐变learnRate);dlnet = dlupdate (updateFcn dlnet,梯度);%显示培训进展。如果情节= =“训练进步”D =持续时间(0,0,toc(开始),“格式”,“hh: mm: ss”);addpoints (lineLossTrain、迭代、双(收集(extractdata(损失))))标题(”时代:“+时代+”,过去:“+ drawnow字符串(D))结束结束结束

测试网络

测试模型的分类精度通过比较测试集上的预测与真正的标签。

[XTest,欧美]= digitTest4DArrayData;

将数据转换成dlarray维度的格式“SSCB”。GPU预测,也将数据转换成gpuArray。

dlXTest = dlarray (XTest,“SSCB”);如果(executionEnvironment = =“汽车”& & canUseGPU) | | executionEnvironment = =“图形”dlXTest = gpuArray (dlXTest);结束

使用分类图像dlnetwork对象,使用预测函数和找到类最高的分数。

dlYPred =预测(dlnet dlXTest);[~,idx] = max (extractdata (dlYPred), [], 1);YPred =类(idx);

评估分类精度。

精度=意味着(YPred = =次)

精度= 0.9386

模型梯度函数

辅助函数modelGradients需要一个dlnetwork对象dlnet和mini-batch输入数据dlX与相应的标签Y,并返回损失和损失的梯度对可学的参数dlnet。自动计算梯度,使用dlgradient函数。

函数(渐变,亏损)= modelGradients向前(dlnet dlX Y) dlYPred = (dlnet dlX);损失= crossentropy (dlYPred Y);梯度= dlgradient(损失、dlnet.Learnables);结束

随机梯度下降函数

辅助函数sgdFunction需要可学的参数参数的梯度参数对损失梯度和学习速率learnRate,并返回更新后的参数使用随机梯度下降算法,表示为

在哪里 $\mathit{l}$是迭代数, $\alpha >0$是学习速率, $\theta$是参数向量, $\mathit{E}\left(\theta \right)$损失函数。

函数参数= sgdFunction(参数梯度,learnRate)参数=参数- learnRate。*梯度;结束