要为网络实现自定义训练循环，首先将其转换为dlnetwork对象。中不包括输出层dlnetwork对象。相反，您必须在自定义训练循环中指定损失函数。

加载一个预先训练好的GoogLeNet模型googlenet函数。此功能需要深度学习工具箱™模型为GoogLeNet网络金宝app支持包。如果没有安装此支金宝app持包，则该函数将提供下载链接。

Net = googlenet;

将网络转换为层图，并删除用于分类使用的层removeLayers．

lgraph = layerGraph(net);lgraph = removeLayers(lgraph，[“概率”“输出”]);

将网络转换为adlnetwork对象。

Dlnet = dlnetwork(lgraph)

dlnet = dlnetwork with properties: Layers: [142x1 nnet.cnn.layer.Layer] Connections: [168x2 table] Learnables: [116x3 table] State: [0x3 table] InputNames: {'data'} OutputNames: {'loss3-classifier'} Initialized: 1 .初始化

使用示例输入创建多输入dlnetwork准备好训练了。软件通过网络传播示例输入，以确定可学习参数和状态参数的适当大小和格式dlnetwork．

定义网络架构。构造一个有两个分支的网络。网络有两个输入，每个分支有一个输入。使用附加层连接分支。

numFilters = 24;layersBranch1 = [convolution2dLayer(3,6*numFilters，“填充”，“相同”，“步”2,“名字”，“conv1Branch1”) groupNormalizationLayer (所有渠道的reluLayer卷积2dlayer (3,numFilters，“填充”，“相同”) groupNormalizationLayer (“channel-wise”) additionLayer (2“名字”，“添加”reluLayer fullyConnectedLayer(10) softmaxLayer];layersBranch2 = [convolution2dLayer(1,numFilters，“名字”，“convBranch2”) groupNormalizationLayer (所有渠道的，“名字”，“gnBranch2”));lgraph = layerGraph(layersBranch1);lgraph = addLayers(lgraph,layersBranch2);lgraph = connectLayers(“gnBranch2”，“添加/ in2”）;

创建与典型网络输入相同大小格式的示例网络输入。对于这两个输入，使用32的批处理大小。使用大小为64 * 64的输入，其中有三个通道用于该层的输入convBranch1．使用大小为64 * 64的输入，其中有18个通道用于该层的输入convBranch2．

dlX1 = dlarray(rand([64 64 3 32])，“SSCB”）;dlX2 = dlarray(rand([32 32 18 32])，“SSCB”）;

创建dlnetwork。类中未连接层出现的相同顺序提供输入层lgraph的属性。

dlnet = dlnetwork(lgraph,dlX1,dlX2);

检查网络是否已经初始化并准备好进行训练。

dlnet。初始化

ans =逻辑1

这个例子展示了如何训练一个使用自定义学习率计划分类手写数字的网络。

可以训练大多数类型的神经网络trainNetwork而且trainingOptions功能。如果trainingOptions函数没有提供您需要的选项(例如，自定义学习速率计划)，那么您可以使用dlarray而且dlnetwork对象用于自动区分。的例子，展示如何重新训练一个预训练的深度学习网络trainNetwork功能,请参阅使用预训练网络的迁移学习．

训练深度神经网络是一项优化任务。把神经网络看成一个函数 $$f（X；\theta ）$$,在那里 $$X$$是网络输入，和 $$\theta$$是否设置了可学习的参数，可以进行优化 $$\theta$$这样就可以最小化一些基于训练数据的损失值。例如，优化可学习参数 $$\theta$$对于给定的输入 $$X$$有相应的目标 $$T$$，他们将预测之间的误差最小化 $$Y＝f（X；\theta ）$$而且 $$T$$．

所使用的损失函数取决于任务的类型。例如:

你可以使用梯度下降来优化目标:最小化损失 $$l$$通过迭代更新可学习参数 $$\theta$$通过使用与可学习参数相关的损失梯度，采取步骤达到最小值。梯度下降算法通常通过使用这种形式的更新步骤的变体来更新可学习参数 $${\theta }_{t+1}＝{\theta }_t-\rho \nabla l$$,在那里 $$t$$是迭代数， $$\rho$$是学习率，和 $$\nabla l$$表示梯度(损失相对于可学习参数的导数)。

此示例训练网络对手写数字进行分类基于时间的衰减学习率计划:对于每次迭代，求解器使用 ${\rho }_{\mathit{t}}＝\frac{{\rho }_0}{1+\mathit{k}\mathit{t}}$,在那里t是迭代数， $${\rho }_0$$初始学习率，和k就是衰变。

dataFolder = fullfile(toolboxdir(“nnet”)，“nndemos”，“nndatasets”，“DigitDataset”）;imds = imageDatastore(数据文件夹，.．.IncludeSubfolders = true,.．.．LabelSource =“foldernames”）;

[imdsTrain,imdsValidation] = splitEachLabel(imds,0.9，“随机”）;

inputSize = [28 28 1];pixelRange = [-5 5];imageAugmenter = imageDataAugmenter(.．.RandXTranslation = pixelRange,.．.RandYTranslation = pixelRange);augimdsTrain = augmentedImageDatastore(inputSize(1:2)，imdsTrain,DataAugmentation=imageAugmenter);

augimdsValidation = augmentedImageDatastore(inputSize(1:2)，imdsValidation);

classes = categories(imdsTrain.Labels);numClasses = nummel(类);

layers = [imageInputLayer(inputSize，归一化=“没有”) convolution2dLayer(5、20、填充=“相同”) batchNormalizationLayer relullayer卷积2dlayer(3,20，填充=“相同”) batchNormalizationLayer relullayer卷积2dlayer(3,20，填充=“相同”) batchNormalizationLayer reluLayer fullyConnectedLayer(numClasses) softmaxLayer];

Net = dlnetwork(layers)

net = dlnetwork with properties: Layers: [12×1 nnet.cnn.layer.Layer] Connections: [11×2 table] Learnables: [14×3 table] State: [6×3 table] InputNames: {'imageinput'} OutputNames: {'softmax'} Initialized: 1 .初始化

numEpochs = 10;miniBatchSize = 128;

initialLearnRate = 0.01;衰减= 0.01;动量= 0.9;

mbq = minibatchqueue(augimdsTrain，.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatch,.．.MiniBatchFormat = [“SSCB”＂＂]);

图C = colororder;lineLossTrain = animatedline(Color=C(2，:));Ylim ([0 inf]) xlabel(“迭代”) ylabel (“损失”网格)在

速度= [];

迭代= 0;开始= tic;%遍历epoch。为epoch = 1:numEpochs% Shuffle数据。洗牌(兆贝可);在小批上循环。而Hasdata (mbq)迭代=迭代+ 1;读取小批数据。[X,T] = next(mbq);使用dlfeval和% modelLoss函数并更新网络状态。[loss,gradients,state] = dlfeval(@modelLoss,net,X,T);网状态=状态;确定基于时间的衰减学习率计划的学习率。learnRate = initialLearnRate/(1 +衰减*迭代);使用SGDM优化器更新网络参数。[net,velocity] = sgdmupdate(net,gradients,velocity,learnRate,momentum);%显示培训进度。D = duration(0,0,toc(start)，Format=“hh: mm: ss”）;损失=双倍(损失);addpoints (lineLossTrain、迭代、失去)标题(”时代:“+ epoch +，消失:"+字符串(D))现在绘制结束结束

numOutputs = 1;mbqTest = minibatchqueue(augimdsValidation,numOutputs，.．.MiniBatchSize = MiniBatchSize,.．.MiniBatchFcn = @preprocessMiniBatchPredictors,.．.MiniBatchFormat =“SSCB”）;

YTest = modelforecasts (net,mbqTest,classes);

TTest = imdsValidation.Labels;精度=平均值(TTest == YTest)

准确度= 0.7210

次图confusionchart (tt)

函数[loss,gradients,state] = modelLoss(net,X,T)通过网络转发数据。[Y，状态]= forward(net,X);计算交叉熵损失。损失=交叉熵(Y,T);计算相对于可学习参数的损失梯度。gradients = dlgradient(loss,net.Learnables);结束

函数Y = modelforecasts (net,mbq,classes) Y = [];在小批上循环。而hasdata(mbq) X = next(mbq);做预测。分数=预测(净，X);解码标签并附加到输出。标签= onehotdecode(分数，类，1)';Y = [Y;标签);结束结束

函数[X,T] = preprocessMiniBatch(dataX,dataT)预处理预测器。X = preprocessMiniBatchPredictors(dataX);从单元格和级联中提取标签数据。T = cat(2,dataT{1:end});单热编码标签。T = onehotencode(T,1);结束

函数X = preprocessMiniBatchPredictors(dataX)%连接。X = cat(4,dataX{1:end});结束

加载一个预先训练好的网络。

网=挤压网;

将网络转换为层图，删除输出层，并将其转换为dlnetwork对象。

lgraph = layerGraph(net);lgraph = removeLayers(“ClassificationLayer_predictions”）;Dlnet = dlnetwork(lgraph);

的可学的的属性dlnetwork对象是一个包含网络可学习参数的表。该表在单独的行中包含嵌套层的参数。查看learnables表的前几行。

learnables = dlnet.Learnables;头(可学的)

ans =8×3表层参数值__________________ _________ ___________________ "conv1" "Weights" {3x3x3x64 dlarray} "conv1" "Bias" {1x1x64 dlarray} "fire2-squeeze1x1" "Weights" {1x1x16 dlarray} "fire2-expand1x1" "Weights" {1x1x64 dlarray} "fire2-expand3x3" "Weights" {3x3x16x64 dlarray} "fire2-expand3x3" Bias" {1x1x64 dlarray} "fire2-expand3x3" "Bias" {1x1x64 dlarray}

要冻结网络的可学习参数，可以遍历可学习参数，并使用setLearnRateFactor函数。

因子= 0;numLearnables = size(learnables,1);为i = 1:numLearnables layerName = learnables.Layer(i);parameterName = learnables.Parameter(i);dlnet = setLearnRateFactor(dlnet,layerName,parameterName,factor);结束

要在训练时使用更新的学习率因子，必须将dlnetwork对象传递给自定义训练循环中的更新函数。例如，使用命令

[dlnet,velocity] = sgdmupdate(dlnet,gradients,velocity);

创建一个未初始化dlnetwork没有输入层的对象。创建一个未初始化的dlnetwork当您还不知道网络输入的大小和格式时，例如dlnetwork嵌套在自定义层内。

定义网络层。该网络只有一个输入，没有连接到输入层。

layers = [convolution2dLayer(5,20) batchNormalizationLayer reluLayer fullyConnectedLayer(10) softmaxLayer];

创建一个未初始化dlnetwork．设置初始化选项假．

Dlnet = dlnetwork(图层，“初始化”、假);

检查网络是否未初始化。

dlnet。初始化

ans =逻辑0

该网络的可学习参数和状态参数没有进行初始化训练。要初始化网络，请使用初始化函数。

如果你想用的话dlnet方法，然后可以对其进行初始化初始化函数并提供示例输入。

如果你想用的话dlnet在自定义层中，您可以利用自动初始化。如果你使用自定义层内dlnetwork,然后dlnet初始化时父dlnetwork被构造(或者当父网络被初始化时，如果它被构造为未初始化的?dlnetwork)．类训练的网络中使用自定义层trainNetwork函数,那么dlnet在训练时自动初始化。有关更多信息，请参见深度学习网络组成．