利用模型函数训练网络

打开实时脚本

这个例子展示了如何通过使用函数而不是层图或函数来创建和训练深度学习网络dlnetwork．使用函数的优点是可以灵活地描述各种各样的网络。缺点是必须完成更多的步骤并仔细准备数据。这个例子使用了手写数字的图像，它有两个目标，一是对数字进行分类，二是确定每个数字与垂直方向的角度。

负荷训练数据

的digitTrain4DArrayData函数加载图像、它们的数字标签以及它们从垂直方向旋转的角度。创建arrayDatastore对象的图像、标签和角度，然后使用结合函数创建一个包含所有训练数据的单个数据存储。提取类名和非离散响应的数量。

[XTrain,T1Train,T2Train] = digitTrain4DArrayData;dsXTrain = arrayDatastore(XTrain,IterationDimension=4);dsT1Train = arrayDatastore(T1Train);dsT2Train = arrayDatastore(T2Train);dsTrain = combine(dsXTrain,dsT1Train,dsT2Train);classNames =类别(T1Train);numClasses = numel(classNames);numResponses = size(T2Train,2);numObservations = numel(T1Train);

查看训练数据中的一些图像。

idx = randperm(numObservations,64);I = imtile(XTrain(:，:，:，idx));图imshow(我)

定义深度学习模型

定义以下预测标签和旋转角度的网络。

带有16个5 × 5滤波器的卷积-batchnorm- relu块。
两个卷积批模块的分支，每个块有32个3 × 3滤波器，中间有一个ReLU操作
一个带有32个1乘1卷积的卷积批量模块的跳过连接。
使用加法和ReLU操作合并两个分支
对于回归输出，具有大小为1(响应的数量)的完全连接操作的分支。
对于分类输出，一个具有大小为10(类的数量)的全连接操作和一个softmax操作的分支。

定义和初始化模型参数和状态

为每个操作定义参数，并将它们包含在一个结构中。使用格式parameters.OperationName.ParameterName在哪里参数结构是什么，OperationName操作的名称(例如“conv1”)和ParameterName是参数的名称(例如，“Weights”)。

创建一个结构参数包含模型参数。初始化可学习的权重和偏差initializeGlorot而且initializeZeros分别为示例函数。属性初始化批归一化偏移量和缩放参数initializeZeros而且initializeOnes分别为示例函数。

要使用批处理规范化操作执行训练和推断，还必须管理网络状态。在预测之前，必须指定从训练数据中得到的数据集平均值和方差。创建一个结构状态包含状态参数。批归一化统计信息不能是dlarray对象。初始化批归一化训练的平均值和训练的方差状态0而且的函数,分别。

初始化示例函数作为支持文件附加到本示例中。金宝app

初始化第一个卷积运算“conv1”的参数。

filterSize = [5 5];numChannels = 1;numFilters = 16;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.conv1。Weights = initializeGlorot(sz,numOut,numIn);parameters.conv1。偏差= initializeZeros([numFilters 1]);

初始化第一批规范化操作“batchnorm1”的参数和状态。

parameters.batchnorm1。Offset = initializeZeros([numFilters 1]);parameters.batchnorm1。Scale = initializeOnes([numFilters 1]);state.batchnorm1。TrainedMean = initializezero ([numFilters 1]);state.batchnorm1。TrainedVariance = initializeOnes([numFilters 1]);

初始化第二个卷积运算“conv2”的参数。

filterSize = [3 3];numChannels = 16;numFilters = 32;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.conv2。Weights = initializeGlorot(sz,numOut,numIn);parameters.conv2。偏差= initializeZeros([numFilters 1]);

初始化第二个批处理规范化操作“batchnorm2”的参数和状态。

parameters.batchnorm2。Offset = initializeZeros([numFilters 1]);parameters.batchnorm2。Scale = initializeOnes([numFilters 1]);state.batchnorm2。TrainedMean = initializezero ([numFilters 1]);state.batchnorm2。TrainedVariance = initializeOnes([numFilters 1]);

初始化第三个卷积运算“conv3”的参数。

filterSize = [3 3];numChannels = 32;numFilters = 32;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.conv3。Weights = initializeGlorot(sz,numOut,numIn);parameters.conv3。偏差= initializeZeros([numFilters 1]);

初始化第三批规范化操作“batchnorm3”的参数和状态。

parameters.batchnorm3。Offset = initializeZeros([numFilters 1]);parameters.batchnorm3。Scale = initializeOnes([numFilters 1]);state.batchnorm3。TrainedMean = initializezero ([numFilters 1]);state.batchnorm3。TrainedVariance = initializeOnes([numFilters 1]);

在跳过连接“convSkip”中初始化卷积操作的参数。

filterSize = [1 1];numChannels = 16;numFilters = 32;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.convSkip.Weights = initializeGlorot(sz,numOut,numIn);parameters.convSkip.Bias = initializeZeros([numFilters 1]);

在跳过连接“batchnormSkip”中初始化批量规范化操作的参数和状态。

parameters.batchnormSkip.Offset = initializeZeros([numFilters 1]);parameters.batchnormSkip.Scale = initializeOnes([numFilters 1]);state.batchnormSkip.TrainedMean = initializeZeros([numFilters 1]);state.batchnormSkip.TrainedVariance = initializeOnes([numFilters 1]);

初始化与分类输出“fc1”相对应的全连接操作的参数。

sz = [numClasses 6272];numOut = numClasses;numIn = 6272;parameters.fc1。Weights = initializeGlorot(sz,numOut,numIn);parameters.fc1。偏差= initializeZeros([numClasses 1]);

初始化与回归输出“fc2”对应的全连接操作的参数。

sz = [numResponses 6272];numOut = numResponses;numIn = 6272;parameters.fc2。Weights = initializeGlorot(sz,numOut,numIn);parameters.fc2。偏差= initializeZeros([numResponses 1]);

查看参数的结构。

参数

参数=带字段的结构:conv1:(1×1结构)batchnorm1:[1×1 struct] conv2:[1×1 struct] batchnorm2:[1×1 struct] conv3:[1×1 struct] batchnorm3:[1×1 struct] convSkip:[1×1 struct] batchnormSkip:[1×1 struct] fc1:[1×1 struct] fc2:[1×1 struct]

查看“conv1”操作的参数。

parameters.conv1

ans =带字段的结构:权重:[5×5×1×16 dlarray]偏差:[16×1 dlarray]

查看状态参数的结构。

状态

状态=带字段的结构:batchnorm1: [1×1 struct] batchnorm2: [1×1 struct] batchnorm3: [1×1 struct] batchnormSkip: [1×1 struct]

查看batchnorm1操作的状态参数。

state.batchnorm1

ans =带字段的结构:TrainedMean: [16×1 dlarray] TrainedVariance: [16×1 dlarray]

定义模型函数

创建函数模型，列在示例末尾，用于计算前面描述的深度学习模型的输出。

这个函数模型取模型参数参数，输入数据，标志doTraining它指定模型是否应该返回用于训练或预测的输出，以及网络状态。网络输出标签的预测、角度的预测和更新的网络状态。

定义模型损失函数

创建函数modelLoss，在示例的末尾列出，它接受模型参数，带有包含标签和角度的对应目标的小批量输入数据，并返回损失，损失相对于可学习参数的梯度，以及更新的网络状态。

指定培训项目

指定培训选项。训练20个epoch，迷你批量大小为128。

numEpochs = 20;miniBatchSize = 128;

火车模型

使用minibatchqueue处理和管理小批量的图像。对于每个小批量:

使用自定义小批量预处理功能preprocessMiniBatch(在本例末尾定义)来对类标签进行一次性编码。
用尺寸标签格式化图像数据“SSCB”(空间，空间，通道，批次)。默认情况下，minibatchqueue对象将数据转换为dlarray具有基础类型的对象单．不要向类标签或角度添加格式。
如果有GPU，可以在GPU上进行训练。默认情况下，minibatchqueue对象将每个输出转换为gpuArray如果GPU可用。使用GPU需要并行计算工具箱™和受支持的GPU设备。金宝app有关受支持设备的信息，请参见金宝appGPU计算要求(并行计算工具箱)．

mbq = minibatchqueue(dsTrain，.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat = [“SSCB”＂＂＂＂]);

对于每个纪元，洗牌数据并在小批量数据上循环。在每次迭代结束时，显示训练进度。对于每个小批量:

评估模型损失和梯度使用dlfeval和modelLoss函数。
方法更新网络参数adamupdate函数。

初始化Adam的参数。

trailingAvg = [];trailingAvgSq = [];

初始化培训进度图。

图C = colororder;lineLossTrain = animatedline(Color=C(2，:));Ylim ([0 inf]) xlabel(“迭代”) ylabel (“损失”网格)在

训练模型。

迭代= 0;开始= tic;%遍历epoch。为epoch = 1:numEpochs% Shuffle数据。洗牌(兆贝可)在小批上循环而Hasdata (mbq)迭代=迭代+ 1;[X,T1,T2] = next(mbq);计算模型损失、梯度和状态，使用dlfeval和% modelLoss函数。[loss,gradients,state] = dlfeval(@modelLoss,parameters,X,T1,T2,state);使用Adam优化器更新网络参数。。[parameters,trailingAvg,trailingAvgSq] = adamupdate(参数，梯度，.．.trailingAvg trailingAvgSq,迭代);%显示培训进度。D = duration(0,0,toc(start)，Format=“hh: mm: ss”）;损失=双倍(损失);addpoints (lineLossTrain、迭代、失去)标题(”时代:“+ epoch +，消失:"+字符串(D))现在绘制结束结束

测试模型

通过将测试集上的预测结果与真实标签和角度进行比较，测试模型的分类精度。方法管理测试数据集minibatchqueue对象使用与训练数据相同的设置。

[XTest,T1Test,T2Test] = digitTest4DArrayData;dsXTest = arrayDatastore(XTest,IterationDimension=4);dsT1Test = arrayDatastore(T1Test);dsT2Test = arrayDatastore(T2Test);dsTest = combine(dsXTest,dsT1Test,dsT2Test);mbqTest = minibatchqueue(dsTest.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat = [“SSCB”＂＂＂＂]);

为预测验证数据的标签和角度，在小批上进行循环，并使用模型函数doTraining选项设置为假．存储预测的类和角度。比较预测和真实的类和角度，并存储结果。

doTraining = false;classesforecasts = [];anglesforecasts = [];classCorr = [];angleDiff = [];在小批上循环。而hasdata (mbqTest)读取小批数据。[X,T1,T2] = next(mbqTest);使用预测函数进行预测。[Y1,Y2] = model(parameters,X,doTraining,state);确定预测的类。Y1 = onehotdecode(Y1,classNames,1);classesforecasts = [classesforecasts Y1];% Dermine预测角度Y2 = extractdata(Y2);anglesforecasts = [anglesforecasts Y2];比较预测的和真实的类。Y1Test = onehotdecode(T1,classNames,1);classCorr = [classCorr Y1 == Y1Test];比较预测角度和真实角度。angleDiffBatch = Y2 - T2;angleDiff = [angleDiff extractdata(gather(angleDiffBatch))];结束

评估分类准确率。

精确度=平均值(classCorr)

准确度= 0.9712

评估回归精度。

angleRMSE =√(mean(angleDiff.^2))

angleRMSE =单6.7999

查看一些带有预测的图片。红色显示预测角度，绿色显示正确标签。

idx = randperm(size(XTest,4)，9);数字为i = 1:9 subplot(3,3,i) i = XTest(:，:，:，idx(i));imshow (I)在sz = size(I,1);Offset = sz/2;thetaPred =角预测(idx(i));plot(offset*[1-tand(thetaPred) 1+tand(thetaPred)]，[sz 0]，“r——”) thetaValidation = T2Test(idx(i));plot(offset*[1-tand(thetaValidation) 1+tand(thetaValidation)]，[sz 0]，，“g——”)举行从label = string(classesforecasts (idx(i)));标题(”的标签:“+标签)结束

模型函数

这个函数模型取模型参数参数，输入数据X，旗帜doTraining它指定了模型是否应该返回用于训练或预测的输出，以及网络状态状态．网络输出标签的预测、角度的预测和更新的网络状态。

函数[Y1,Y2,state] = model(parameters,X,doTraining,state)%初始操作%卷积- conv1weights = parameters.conv1.Weights;bias = parameters.conv1.Bias;Y = dlconv(X，权重，偏差，填充=“相同”）;%批规范化，ReLU - batchnorm1, relu1offset = parameters.batchnorm1.Offset;scale = parameters.batchnorm1.Scale;trainedMean = state.batchnorm1.TrainedMean;trainedVariance = state.batchnorm1.TrainedVariance;如果doTraining [Y,trainedMean,trainedVariance] = batchnorm(Y,offset,scale,trainedMean,trainedVariance);%更新状态state.batchnorm1。受过训练的人;state.batchnorm1。trained方差= trained方差;其他的Y = batchnorm(Y,offset,scale,trainedMean,trainedVariance);结束Y = relu(Y);%主要分支机构操作%卷积- conv2weights = parameters.conv2.Weights;bias = parameters.conv2.Bias;YnoSkip = dlconv(Y，权重，偏差，填充=“相同”,步= 2);%批归一化，ReLU - batchnorm2, relu2offset = parameters.batchnorm2.Offset;scale = parameters.batchnorm2.Scale;trainedMean = state.batchnorm2.TrainedMean;trainedVariance = state.batchnorm2.TrainedVariance;如果doTraining [noskip,trainedMean,trainedVariance] = batchnorm(noskip,offset,scale,trainedMean,trainedVariance);%更新状态state.batchnorm2。受过训练的人;state.batchnorm2。trained方差= trained方差;其他的noskip = batchnorm(noskip,offset,scale,trainedMean,trainedVariance);结束noskip = relu(noskip);%卷积- conv3weights = parameters.conv3.Weights;bias = parameters.conv3.Bias;YnoSkip = dlconv(YnoSkip，权重，偏差，填充=“相同”）;批处理归一化- batchnorm3offset = parameters.batchnorm3.Offset;scale = parameters.batchnorm3.Scale;trainedMean = state.batchnorm3.TrainedMean;trainedVariance = state.batchnorm3.TrainedVariance;如果doTraining [noskip,trainedMean,trainedVariance] = batchnorm(noskip,offset,scale,trainedMean,trainedVariance);%更新状态state.batchnorm3。受过训练的人;state.batchnorm3。trained方差= trained方差;其他的noskip = batchnorm(noskip,offset,scale,trainedMean,trainedVariance);结束%跳过连接操作%卷积，批归一化(跳过连接)- convSkip, batchnormSkipweights = parameters.convSkip.Weights;bias = parameters.convSkip.Bias;YSkip = dlconv(Y，权重，偏差，Stride=2);offset = parameters.batchnormSkip.Offset;scale = parameters.batchnormSkip.Scale;trainedMean = state.batchnormSkip.TrainedMean;trainedVariance = state.batchnormSkip.TrainedVariance;如果doTraining [YSkip,trainedMean,trainedVariance] = batchnorm(YSkip,offset,scale,trainedMean,trainedVariance);%更新状态state.batchnormSkip.TrainedMean = trainedMean;state.batchnormSkip.TrainedVariance = trainedVariance;其他的YSkip = batchnorm(YSkip,offset,scale,trainedMean,trainedVariance);结束最终操作%加法，ReLU -加法，relu4Y = YSkip + noskip;Y = relu(Y);完全连接，softmax(标签)- fc1, softmaxweights = parameters.fc1.Weights;bias = parameters.fc1.Bias;Y1 =完全连接(Y，权重，偏差);Y1 = softmax(Y1);%完全连接(角度)- fc2weights = parameters.fc2.Weights;bias = parameters.fc2.Bias;Y2 =完全连接(Y，权重，偏差);结束

模型损失函数

的modelLoss函数，取模型参数，输入小批量数据X有相应的目标T1而且T2分别包含标签和角度，并返回损失、损失相对于可学习参数的梯度以及更新的网络状态。

函数[loss,gradients,state] = modelLoss(parameters,X,T1,T2,state) doTraining = true;[Y1,Y2,state] = model(parameters,X,doTraining,state);lossLabels = crossentropy(Y1,T1);lossAngles = mse(Y2,T2);loss = lossLabels + 0.1*lossAngles;Gradients = dlgradient(损失，参数);结束

小批量预处理功能

的preprocessMiniBatch函数按照以下步骤对数据进行预处理:

从传入单元格数组中提取图像数据并连接到数值数组中。将图像数据连接到第四个维度将为每个图像添加第三个维度，用作单通道维度。
从传入单元格数组中提取标签和角度数据，并沿着第二维分别连接到分类数组和数值数组。
One-hot将分类标签编码为数字数组。编码到第一个维度会产生一个与网络输出形状匹配的编码数组。

函数[X,T1,T2] = preprocessMiniBatch(dataX,dataT1,dataT2)从单元格和拼接中提取图像数据X = cat(4,dataX{:});从单元格和级联中提取标签数据T1 = cat(2,dataT1{:});从单元格和拼接中提取角度数据T2 = cat(2,dataT2{:});单热编码标签T1 = onehotencode(T1,1);结束

另请参阅