dlnetwork

实现一个自定义您的网络培训循环,首先将它转换成一个dlnetwork对象。不包括输出层dlnetwork对象。相反,您必须指定自定义训练循环中损失函数。

加载一个pretrained GoogLeNet模型使用googlenet函数。这个函数需要深度学习工具箱™模型GoogLeNet网络金宝app支持包。如果这种支持包没金宝app有安装,那么函数提供一个下载链接。

网= googlenet;

转换层的网络图和删除层用于分类使用removeLayers。

lgraph = layerGraph(净);lgraph = removeLayers (lgraph, (“概率”“输出”]);

网络转换为一个dlnetwork对象。

dlnet = dlnetwork (lgraph)

dlnet = dlnetwork属性:层:x1 nnet.cnn.layer.Layer[142]连接:[168 x2表]可学的:[116 x3表]状态:[0 x3表]InputNames:{“数据”}OutputNames: {“loss3-classifier”}初始化:1观点总结总结。

使用网络数据布局对象创建一个多输入dlnetwork这是准备培训。软件使用的大小和格式信息来确定适当的大小和格式的可学的和状态参数dlnetwork。

定义网络体系结构。构建一个与两个分支网络。网络有两个输入,一个输入每个分支。连接分支使用附加层。

numFilters = 24;layersBranch1 = [convolution2dLayer (3、6 * numFilters,填充=“相同”步= 2)groupNormalizationLayer (“所有渠道”)reluLayer convolution2dLayer (3 numFilters填充=“相同”)groupNormalizationLayer (“channel-wise”)additionLayer (Name =“添加”)reluLayer fullyConnectedLayer (10) softmaxLayer];numFilters layersBranch2 = [convolution2dLayer (1) groupNormalizationLayer (“所有渠道”、名称=“gnBranch2”));lgraph = layerGraph (layersBranch1);lgraph = addLayers (lgraph layersBranch2);lgraph = connectLayers (lgraph,“gnBranch2”,“添加/ in2”);

创建网络数据布局对象代表典型网络输入的大小和格式。为输入,使用批处理大小为32。使用一个输入的大小64 - - 64有三个渠道卷积在第一层分支。使用一个输入的大小64 - 18 - 64与渠道卷积层第二分支。

X1 = dlarray(兰德([64 64 3 32]),“SSCB”);X2 = dlarray(兰德([32 32 18 32]),“SSCB”);

创建dlnetwork。提供的输入无关层出现在相同的顺序层的属性lgraph。

网= dlnetwork (lgraph (X1, X2);

检查网络初始化并准备培训通过检查初始化网络的属性。

net.Initialized

ans =逻辑1

这个例子展示了如何训练网络,把手写的数字和一个定制的学习速率的时间表。

你可以训练使用的大多数类型的神经网络trainNetwork和trainingOptions功能。如果trainingOptions函数不提供你需要的选项(例如,一个定制的学习速率的时间表),然后你可以定义自己的自定义训练循环使用dlarray和dlnetwork对象自动分化。为一个例子,演示如何培训pretrained深学习网络使用trainNetwork功能,请参阅学习使用Pretrained网络传输。

训练一个深层神经网络是一种优化的任务。通过考虑一个神经网络作为一个函数 $$f(X;\theta )$$,在那里 $$X$$网络的输入, $$\theta$$可学的参数集,您可以优化吗 $$\theta$$减少一些损失值基于训练数据。例如,优化可学的参数 $$\theta$$这样,对于一个给定的输入 $$X$$与相应的目标 $$T$$,他们之间的误差最小化预测 $$Y=f(X;\theta )$$和 $$T$$。

取决于使用的损失函数类型的任务。例如:

您可以使用梯度下降优化目标:最小化损失 $$l$$通过迭代更新可学的参数 $$\theta$$通过采取措施对最小使用渐变的损失对可学的参数。梯度下降算法更新可学的参数通常使用的更新一步的变体形式 $${\theta }_{t+1}={\theta }_t-\; -\; -\; -\; -\; -\rho \nabla l$$,在那里 $$t$$是迭代数, $$\rho$$是学习速率, $$\nabla l$$表示渐变(衍生品的损失对可学的参数)。

这个例子列车网络分类手写数字的基于时间的衰减学习速率的时间表:对于每一次迭代,求解器使用的学习速率 ${\rho }_{\mathit{t}}=\frac{{\rho }_0}{1+\mathit{k}\mathit{t}}$,在那里t是迭代数, $${\rho }_0$$最初的学习速率,k是衰减的。

dataFolder = fullfile (toolboxdir (“nnet”),“nndemos”,“nndatasets”,“DigitDataset”);imd = imageDatastore (dataFolder,…IncludeSubfolders = true,…。LabelSource =“foldernames”);

[imdsTrain, imdsValidation] = splitEachLabel (imd, 0.9,“随机”);

inputSize = [28 28 1];pixelRange = 5 [5];imageAugmenter = imageDataAugmenter (…RandXTranslation = pixelRange,…RandYTranslation = pixelRange);augimdsTrain = augmentedImageDatastore (inputSize (1:2), imdsTrain, DataAugmentation = imageAugmenter);

augimdsValidation = augmentedImageDatastore (inputSize (1:2), imdsValidation);

类=类别(imdsTrain.Labels);numClasses =元素个数(类);

层= [imageInputLayer (inputSize正常化=“没有”)convolution2dLayer(5、20、填充=“相同”)batchNormalizationLayer reluLayer convolution2dLayer(3、20、填充=“相同”)batchNormalizationLayer reluLayer convolution2dLayer(3、20、填充=“相同”)batchNormalizationLayer reluLayer fullyConnectedLayer (numClasses) softmaxLayer];

净= dlnetwork(层)

网= dlnetwork属性:层:[12×1 nnet.cnn.layer.Layer]连接:[11×2表]可学的:[14×3表]状态:[6×3表]InputNames: {“imageinput”} OutputNames: {“softmax”}初始化:1观点总结总结。

numEpochs = 10;miniBatchSize = 128;

initialLearnRate = 0.01;衰变= 0.01;动量= 0.9;

兆贝可= minibatchqueue (augimdsTrain,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatch,…MiniBatchFormat = [“SSCB””“]);

速度= [];

numObservationsTrain =元素个数(imdsTrain.Files);numIterationsPerEpoch =装天花板(numObservationsTrain / miniBatchSize);numIterations = numEpochs * numIterationsPerEpoch;

监控= = trainingProgressMonitor(指标“损失”信息= (“时代”,“LearnRate”),包含=“迭代”);

时代= 0;迭代= 0;%循环时期。而时代< numEpochs & & ~班长。停止时代=时代+ 1;%洗牌数据。洗牌(兆贝可);%在mini-batches循环。而hasdata(兆贝可)& & ~班长。停止迭代=迭代+ 1;% mini-batch读取的数据。[X, T] =下一个(兆贝可);%评估模型梯度、州和使用dlfeval和损失% modelLoss功能和更新网络状态。(损失、渐变、状态)= dlfeval (@modelLoss,净,X, T);网。=状态;%确定为基于时间的学习速率衰减学习速率的时间表。learnRate = initialLearnRate /(1 +衰变*迭代);%更新使用个优化网络参数。(净、速度)= sgdmupdate(净、渐变速度,learnRate动量);%更新培训进度监控。recordMetrics(监控、迭代损失=损失);updateInfo(监控、时代=时代LearnRate = LearnRate);班长。进步= 100 *迭代/ numIterations;结束结束

numOutputs = 1;mbqTest = minibatchqueue (augimdsValidation numOutputs,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatchPredictors,…MiniBatchFormat =“SSCB”);

欧美= modelPredictions(净、mbqTest、类);

tt = imdsValidation.Labels;精度=意味着(tt = =次)

精度= 0.9750

次图confusionchart (tt)

函数(损失、渐变、状态)= modelLoss(净,X, T)%通过网络转发数据。[Y,状态]=前进(净,X);%计算熵的损失。损失= crossentropy (Y, T);%计算梯度的损失对可学的参数。梯度= dlgradient(损失、net.Learnables);结束

函数Y = modelPredictions(净、兆贝可类)Y = [];%在mini-batches循环。而hasdata(兆贝可)X =(兆贝可);%进行预测。成绩=预测(净,X);%解码标签和附加到输出。标签= onehotdecode(成绩、类1)';Y = [Y;标签);结束结束

函数[X, T] = preprocessMiniBatch (dataX人数()%预处理预测。X = preprocessMiniBatchPredictors (dataX);%从细胞中提取标签数据和连接。猫(T = 2,人数({1:结束});%一个炎热的编码标签。T = onehotencode (T, 1);结束

函数X = preprocessMiniBatchPredictors (dataX)%连接。猫(X = 4, dataX{1:结束});结束

加载一个pretrained网络。

网= squeezenet;

转换层的网络图,把输出层,将它转换成一个dlnetwork对象。

lgraph = layerGraph(净);lgraph = removeLayers (lgraph,“ClassificationLayer_predictions”);dlnet = dlnetwork (lgraph);

的可学的财产的dlnetwork对象是一个包含网络的可学的参数表。嵌套层的表包括参数在不同的行。查看可学的表的前几行。

可学的= dlnet.Learnables;头(可学的)

层参数值_____________ _____ ___________________“conv1”“权重”{3 x3x3x64 dlarray}“conv1”“偏见”{1 x1x64 dlarray}“fire2-squeeze1x1”“权重”{1 x1x64x16 dlarray}“fire2-squeeze1x1”“偏见”{1 x1x16 dlarray}“fire2-expand1x1”“权重”{1 x1x16x64 dlarray}“fire2-expand1x1”“偏见”{1 x1x64 dlarray}“fire2-expand3x3”“权重”{3 x3x16x64 dlarray}“fire2-expand3x3”“偏见”{1 x1x64 dlarray}

冻结的可学的参数网络,遍历可学的参数和设置率为0使用学习setLearnRateFactor函数。

因素= 0;numLearnables =大小(可学的,1);为i = 1: numLearnables layerName = learnables.Layer(我);parameterName = learnables.Parameter(我);dlnet = setLearnRateFactor (dlnet, layerName、parameterName因素);结束

培训时使用更新后的学习速率的因素,你必须通过dlnetwork对象更新函数自定义训练循环。例如,使用命令

[dlnet、速度]= sgdmupdate (dlnet、渐变速度);

创建一个未初始化的dlnetwork对象没有一个输入层。创建一个未初始化的dlnetwork是有用的,当你还不知道网络的大小和格式输入,例如,当dlnetwork是嵌套在一个自定义层。

定义网络层。这个网络有一个输入,这不是连接到输入层。

20层= [convolution2dLayer (5) batchNormalizationLayer reluLayer fullyConnectedLayer (10) softmaxLayer);

创建一个未初始化的dlnetwork。设置初始化选项假。

dlnet = dlnetwork(层,“初始化”、假);

检查网络是否没有初始化。

dlnet.Initialized

ans =逻辑0

这个网络的可学的和状态参数不初始化培训。初始化网络,使用初始化函数。

如果你想使用dlnet直接在一个定制的训练循环,然后你可以通过使用初始化它初始化输入功能和提供一个例子。

如果你想使用dlnet自定义层内,然后你可以利用自动初始化。如果您使用自定义层内dlnetwork,然后dlnet初始化时父母吗dlnetwork构造(或父网络初始化时如果是构造成未初始化dlnetwork)。如果您使用自定义层内部的网络训练使用trainNetwork函数,那么dlnet在训练时间自动初始化。有关更多信息,请参见深入学习网络组成。