importNetworkFromPyTorch

Helper函数

本节提供了findCustomLayershelper函数,它返回指数自定义层importNetworkFromPyTorch自动生成。

函数指数= findCustomLayers(层,PackageName) s = ([‘。’PackageName]);指数= 0(1、长度(小);为i = 1:长度(层)为j = 1:长度(小)如果strcmpi(类(层(i)), [PackageName(2:结束)“。”s.m {j} (1: end-2)])指数(j) =我;结束结束结束结束

加载数据

解压MerchData数据集,其中包含75张图片。加载新的图像,图像数据存储。的imageDatastore函数自动标签图像基于文件夹的名字和存储数据作为ImageDatastore对象。将数据分为训练和验证数据集。使用70%的图片,培训为30%,验证。

解压缩(“MerchData.zip”);imd = imageDatastore (“MerchData”,…IncludeSubfolders = true,…LabelSource =“foldernames”);[imdsTrain, imdsValidation] = splitEachLabel (imd, 0.7);

在本例中使用的网络需要输入的图像大小224 - 224 - 3。自动调整训练图像,使用一个增强图像数据存储。指定额外增加操作执行培训图片:随机翻译30像素的图像在水平和垂直轴。数据增加有助于防止网络过度拟合和记忆的训练图像的细节。

inputSize = (224 224 3);pixelRange = 30 [-30];scaleRange = (0.9 - 1.1);imageAugmenter = imageDataAugmenter (…RandXReflection = true,…RandXTranslation = pixelRange,…RandYTranslation = pixelRange,…RandXScale = scaleRange,…RandYScale = scaleRange);augimdsTrain = augmentedImageDatastore (inputSize (1:2), imdsTrain,…DataAugmentation = imageAugmenter);

自动调整验证图像不执行进一步的数据,使用一个增强的图像数据存储不指定任何额外的预处理操作。

augimdsValidation = augmentedImageDatastore (inputSize (1:2), imdsValidation);

确定训练数据的类的数量。

类=类别(imdsTrain.Labels);numClasses =元素个数(类);

进口网络

下载MNASNet(版权©Soumith Chintala 2016) PyTorch模型。MNASNet是一个图像分类模型与图像训练ImageNet数据库。下载mnasnet1_0.pt文件,大约17 MB的大小,从MathWorks网站。

modelfile = matlab.internal.examples.download金宝appSupportFile (“nnet”,…“数据/ PyTorchModels / mnasnet1_0.pt”);

导入MNASNet模型作为一个未初始化的dlnetwork对象,通过使用importNetworkFromPyTorch函数。

净= importNetworkFromPyTorch (modelfile)

警告:网络作为一个未初始化的dlnetwork进口。使用网络之前,添加输入层(s): inputLayer1 = imageInputLayer (< inputSize1 >、规范化= "没有");网= addInputLayer(净、inputLayer1初始化= true);

网= dlnetwork属性:层:[152×1 nnet.cnn.layer.Layer]连接:[163×2表]可学的:(210×3表)状态:[104×3表]InputNames: {“TopLevelModule_layers_0”} OutputNames: {“aten__linear12”}初始化:0观点总结总结。

显示导入的网络的最后一层。

net.Layers(结束)

ans = aten__linear12属性:名称:“aten__linear12”NumInputs: 2 InputNames: {’’‘in_rank} TopLevelModule_classifier_1_weight可学的参数:[1280×1000单]TopLevelModule_classifier_1_bias: [0.0493 -0.0804 -0.0906 -0.1006 0.1332 -0.0767 -0.0788 -0.0026 -0.0525 -0.1215 -0.1635 -0.1147 -0.1421 -0.1148 -0.0586 -0.2150 -0.0970 -0.0798 -5.4136 e-04 -0.0968 0.0479 0.0780 0.0015 -0.1375 -0.0485 -0.1223…]状态参数没有属性。显示所有属性

的aten__linear12层是一个自定义层生成的importNetworkFromPyTorch函数最后可学的进口网络的层。这一层包含的信息如何结合网络特性,提取类概率和损失价值。

取代最后一层

再培训导入网络分类的新图像,用一个新的替换最后一层完全连接层。新层new_fclayer适应新的数据集,还必须是一个自定义层,因为它有两个输入。

初始化new_fcLayer层和替换aten__linear12层与new_fcLayer。

newLayer = new_fcLayer (“fc1”,“自定义层”,…{“在”“in_rank”},{“出”},numClasses);网= replaceLayer(网络,“aten__linear12”,newLayer);

softmax层添加到网络和连接将softmax层新完全连接层。

网= addLayers(净,softmaxLayer (Name =“sm1”));网= connectLayers(网络,“fc1”,“sm1”);

添加输入层

添加一个图像输入到网络层和初始化网络。

inputLayer = imageInputLayer (inputSize正常化=“没有”);网= addInputLayer(净、inputLayer初始化= true);

分析了网络。查看第一层和最后一层。

analyzeNetwork(净)

定义模型损失函数

训练一个深层神经网络是一种优化的任务。通过考虑一个神经网络作为一个函数 $$f(X;\theta )$$,在那里 $$X$$网络的输入, $$\theta$$可学的参数集,您可以优化吗 $$\theta$$减少一些损失值基于训练数据。例如,优化可学的参数 $$\theta$$这样,对于给定输入 $$X$$与相应的目标 $$T$$,他们之间的误差最小化预测 $$Y=f(X;\theta )$$和 $$T$$。

创建modelLoss函数,列出的损失函数模型部分的例子,作为输入dlnetwork对象和一个mini-batch输入数据与相应的目标。函数返回的损失,损失的梯度对可学的参数,和网络状态。

指定培训选项

火车15世mini-batch大小为20。

numEpochs = 15;miniBatchSize = 20;

指定的选项个优化。指定一个初始学习衰变率0.001,0.005,和0.9的动力。

initialLearnRate = 0.001;衰变= 0.005;动量= 0.9;

火车模型

创建一个minibatchqueue对象流程和管理mini-batches图像在训练。为每个mini-batch:

兆贝可= minibatchqueue (augimdsTrain,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatch,…MiniBatchFormat = [“SSCB””“]);

初始化与动量梯度下降的速度参数解算器(个)。

速度= [];

计算迭代的总数的培训进度监控。

numObservationsTrain =元素个数(imdsTrain.Files);numIterationsPerEpoch =装天花板(numObservationsTrain / miniBatchSize);numIterations = numEpochs * numIterationsPerEpoch;

初始化trainingProgressMonitor对象。因为计时器开始创建监视器对象时,训练循环后立即创建对象。

监控= = trainingProgressMonitor(指标“损失”信息= (“时代”,“LearnRate”),包含=“迭代”);

列车网络使用自定义训练循环。对于每一个时代,洗牌和遍历mini-batches数据的数据。为每个mini-batch:

时代= 0;迭代= 0;%循环时期。而时代< numEpochs & & ~班长。停止时代=时代+ 1;%洗牌数据。洗牌(兆贝可);%在mini-batches循环。而hasdata(兆贝可)& & ~班长。停止iteration = iteration + 1;% mini-batch读取的数据。[X, T] =下一个(兆贝可);%评估模型梯度、州和使用dlfeval和损失% modelLoss功能和更新网络状态。(损失、渐变、状态)= dlfeval (@modelLoss,净,X, T);网。=状态;%确定为基于时间的学习速率衰减学习速率的时间表。learnRate = initialLearnRate /(1 +衰变*迭代);%更新使用个优化网络参数。(净、速度)= sgdmupdate(净、渐变速度,learnRate动量);%更新培训进度监控。recordMetrics(监控、迭代损失=损失);updateInfo(监控、时代=时代LearnRate = LearnRate);班长。进步= 100 *迭代/ numIterations;结束结束

验证图像进行分类

测试模型的分类精度比较预测验证集和真正的标签。

训练后,使预测新数据不需要标签。创建一个minibatchqueue对象只包含测试数据的预测:

numOutputs = 1;mbqTest = minibatchqueue (augimdsValidation numOutputs,…MiniBatchSize = MiniBatchSize,…MiniBatchFcn = @preprocessMiniBatchPredictors,…MiniBatchFormat =“SSCB”);

循环mini-batches和使用的图像进行分类modelPredictions函数,列出的例子。

欧美= modelPredictions(净、mbqTest、类);

评估分类精度。

tt = imdsValidation.Labels;精度=意味着(tt = =次)

精度= 0.9500

图表可视化预测在一个混乱。大值对应的类的对角线显示准确的预测。大值对应的类之间的非对角的表示强烈的困惑。

次图confusionchart (tt)

辅助函数

损失函数模型

的modelLoss函数作为输入dlnetwork对象净和mini-batch输入数据X与相应的目标T。函数返回的损失,损失的梯度参数对可学的净,和网络状态。自动计算梯度,使用dlgradient函数。

函数(损失、渐变、状态)= modelLoss(净,X, T)%通过网络转发数据。[Y,状态]=前进(净,X);%计算熵的损失。损失= crossentropy (Y, T);%计算梯度的损失对可学的参数。梯度= dlgradient(损失、net.Learnables);结束

模型的预测函数

的modelPredictions函数作为输入dlnetwork对象净,一个minibatchqueue的输入数据兆贝可和网络类。函数计算模型预测的循环遍历所有的数据minibatchqueue对象。这个函数使用onehotdecode函数找到预测类最高的分数。

函数Y = modelPredictions(净、兆贝可类)Y = [];%在mini-batches循环。而hasdata(兆贝可)X =(兆贝可);%进行预测。成绩=预测(净,X);%解码标签和附加到输出。标签= onehotdecode(成绩、类1)';Y = [Y;标签);结束结束

小批预处理功能

的preprocessMiniBatch函数进行预处理的mini-batch预测和标签使用这些步骤:

函数[X, T] = preprocessMiniBatch (dataX人数()%预处理预测。X = preprocessMiniBatchPredictors (dataX);%从细胞中提取标签数据和连接。猫(T = 2,人数({1:结束});%一个炎热的编码标签。T = onehotencode (T, 1);结束

Mini-Batch预测预处理功能

的preprocessMiniBatchPredictors函数进行预处理mini-batch预测因子的提取图像数据从输入单元阵列和连接到一个数字数组。灰度输入,连接在第四维度添加了一个三维图像使用作为一个单通道尺寸。

函数X = preprocessMiniBatchPredictors (dataX)%连接。猫(X = 4, dataX{1:结束});结束