使用度量函数评价深度学习实验

开放的例子

这个例子展示了如何使用度量函数来评估一个实验的结果。默认情况下，当你运行一个内置的训练实验时，实验管理器计算实验中每一次试验的损失、准确度(用于分类实验)和均方根误差(用于回归实验)。要计算其他度量，创建自己的度量函数。例如，你可以定义度量函数:

测试经过训练的网络的预测性能。
通过计算验证损失在最后阶段的斜率来评估训练进度。
显示每次试验使用不同网络架构的实验中所使用的网络的大小。

当每次试验结束培训时，实验经理评估度量函数，并在结果表中显示它们的值。

在本例中，训练一个网络对手写数字图像进行分类。两个度量函数决定了经过训练的网络如何识别数字1和7的图像。有关使用实验管理器训练网络进行图像分类的更多信息，请参见基于扫描超参数的图像分类．

定义度量函数

向内置的训练实验添加一个度量函数。

1.在实验窗格中,在指标,点击添加．

2.在增加指标对话框中，输入度量函数的名称并单击好吧．如果输入项目中已经存在的函数的名称，Experiment Manager会将其添加到实验中。否则，实验管理器将创建一个由默认模板定义的函数。

3.选择度量函数的名称，单击编辑．度量函数在MATLAB®编辑器中打开。

度量函数的输入是一个有三个字段的结构:

trainedNetwork是SeriesNetwork对象或DAGNetwork对象返回的trainNetwork函数。有关更多信息，请参见净．
trainingInfo结构是否包含由trainNetwork函数。有关更多信息，请参见信息．
参数是包含超参数表字段的结构。

自定义度量函数的输出必须是标量数、逻辑值或字符串。

开放实验

首先，打开示例。实验管理器加载一个带有可检查和运行的预配置实验的项目。打开实验，在实验的浏览器窗格中，双击实验的名称(ClassificationExperiment)．

内置的训练实验由描述、超参数表、设置函数和度量函数集合组成，用于评估实验的结果。有关更多信息，请参见配置内置训练实验．

的描述字段包含实验的文本描述。对于本例，描述是:

数字分类，使用度量函数评价结果:* OnesAsSevens返回1被误分类为7s的百分比。* SevensAsOnes返回误分类为1的7s的百分比。

的Hyperparameters部分指明策略(详尽的扫描)和用于实验的超参数值。当您运行实验时，experiment Manager使用超参数表中指定的每个超参数值组合来训练网络。这个例子使用了超参数InitialLearnRate和动力．

的设置函数配置实验的训练数据、网络架构和训练选项。setup函数的输入是一个带有超参数表字段的结构。setup函数返回三个输出，用于训练网络处理图像分类问题。在本例中，setup函数有三个部分。

负荷训练数据定义包含训练和验证数据的图像数据存储。这个示例从Digits数据集加载图像。有关此数据集的更多信息，请参见图像数据集．

digitDatasetPath = fullfile (toolboxdir (“nnet”）,．..“nndemos”，“nndatasets”，“DigitDataset”）;imdsTrain = imageDatastore (digitDatasetPath,．..IncludeSubfolders = true,．..LabelSource =“foldernames”）;

numTrainingFiles = 750;[imdsTrain, imdsValidation] = splitEachLabel (imdsTrain numTrainingFiles);

定义网络体系结构定义用于深度学习分类的卷积神经网络的体系结构。本示例使用setup函数模板提供的默认分类网络。

inputSize = [28 28 1];numClasses = 10;layers = [imageInputLayer(inputSize) convolution2dLayer(5,20) batchNormalizationLayer relullayer fulllyconnectedlayer (numClasses) softmaxLayer classificationLayer]; / /创建一个新的层

指定培训选项定义了一个trainingOptions实验对象。该示例加载训练选项的值“InitialLearnRate”和“动量”从超参数表。

选择= trainingOptions (“个”，．..MaxEpochs = 5,．..ValidationData = imdsValidation,．..ValidationFrequency = 30,．..InitialLearnRate =参数。InitialLearnRate,．..动量=参数。动力,．..Verbose = false);

检查设置功能，在设置函数,点击编辑．设置函数在MATLAB®编辑器中打开。此外，设置函数的代码显示在附录1在这个例子的最后。

的指标节指定对实验结果进行评估的可选函数。实验管理器每次完成网络训练后都会评估这些功能。如果需要查看度量函数，请选择度量函数的名称，单击编辑．度量函数在MATLAB编辑器中打开。

这个例子包括两个度量函数。

OnesAsSevens返回经过训练的网络将数字1误分类为7的图像的百分比。
SevensAsOnes返回经过训练的网络将数字7误分类为1的图像的百分比。

每个函数都使用经过训练的网络对整个数字数据集进行分类。然后，该函数确定实际标签和预测标签不一致的图像数量。例如，函数OnesAsSevens计算实际标签为的图像的数量' 1 '和一个预测的标签“7”．同样地,函数SevensAsOnes计算实际标签为的图像的数量“7”和一个预测的标签' 1 '．这些度量函数的代码如下所示附录2和附录3在这个例子的最后。

运行实验

当您运行实验时，实验管理器对设置功能定义的网络进行六次训练。每次试验都使用不同的超参数值组合。默认情况下，实验管理器每次运行一个试验。如果您有并行计算工具箱™，您可以同时运行多个试验。为了获得最好的结果，在您运行您的实验之前，启动一个与gpu一样多的worker的并行池。有关更多信息，请参见使用实验管理器并行训练网络和GPU支金宝app持情况(并行计算工具箱)．

要一次运行一次实验，请在实验管理器工具条上单击运行．
要同时进行多个试验，请单击使用并行然后运行．如果当前没有并行池，实验管理器将使用默认的集群配置文件启动一个。然后，根据可用的并行工作人员的数量，实验管理器执行多个同时的试验。

结果表显示了每次试验的度量函数值。

评估结果

为了找到实验的最佳结果，对结果表进行排序。例如，找出分类错误次数最少的试验。

指出OnesAsSevens列。
点击三角形图标。
选择升序排序．

类似地，通过打开下拉菜单找到错误分类7的最小数目的试验SevensAsOnes列和选择升序排序．

如果没有一次试验同时最小化两个度量函数，考虑优先选择对每个度量都有良好排名的试验。例如，在这些结果中，试验5是每个指标函数的前三次试验之一。

要记录对实验结果的观察，请添加注释。

在结果表中，右键单击OnesAsSevens最好的审判单元。
选择添加注释．
在注释窗格，在文本框中输入您的观察结果。
重复前面的步骤SevensAsOnes细胞。

有关更多信息，请参见对实验结果进行排序、过滤和注释．

关闭实验

在实验的浏览器窗格中，右键单击项目的名称并选择关闭项目．实验管理器关闭项目中包含的所有实验和结果。

附录1:设置功能

配置实验的训练数据、网络架构和训练选项。

输入

参数个数是一个包含来自实验管理器超参数表字段的结构。

输出

imdsTrain是训练数据的图像数据存储。
层是定义神经网络架构的一层图。
选项是一个trainingOptions对象。

函数[imdsTrain,layers,options] = ClassificationExperiment_setup1(params) digitDatasetPath = fullfile(toolboxdir(“nnet”）,．..“nndemos”，“nndatasets”，“DigitDataset”）;imdsTrain = imageDatastore (digitDatasetPath,．..IncludeSubfolders = true,．..LabelSource =“foldernames”）;numTrainingFiles = 750;[imdsTrain, imdsValidation] = splitEachLabel (imdsTrain numTrainingFiles);inputSize = [28 28 1];numClasses = 10;layers = [imageInputLayer(inputSize) convolution2dLayer(5,20) batchNormalizationLayer relullayer fulllyconnectedlayer (numClasses) softmaxLayer classificationLayer]; / /创建一个新的层选择= trainingOptions (“个”，．..MaxEpochs = 5,．..ValidationData = imdsValidation,．..ValidationFrequency = 30,．..InitialLearnRate =参数。InitialLearnRate,．..动量=参数。动力,．..Verbose = false);结束

附录2:找出被误分类为7的

这个函数决定了“1”被误分类为“7”的数量。

函数metricOutput = OnesAsSevens(trialInfo) actualValue =' 1 '；predValue =“7”；网= trialInfo.trainedNetwork;digitDatasetPath = fullfile (toolboxdir (“nnet”）,．..“nndemos”，“nndatasets”，“DigitDataset”）;imd = imageDatastore (digitDatasetPath,．..IncludeSubfolders = true,．..LabelSource =“foldernames”）;YActual = imds.Labels;YPred =分类(净、imd);K = sum(YActual == actualValue & YPred == predValue);N = sum(YActual == actualValue);metricOutput = 100 * K / N;结束

附录3:发现7错分类为1

这个函数确定被误分类为1的7的数量。

函数metricOutput = SevensAsOnes(trialInfo) actualValue =“7”；predValue =' 1 '；网= trialInfo.trainedNetwork;digitDatasetPath = fullfile (toolboxdir (“nnet”）,．..“nndemos”，“nndatasets”，“DigitDataset”）;imd = imageDatastore (digitDatasetPath,．..IncludeSubfolders = true,．..LabelSource =“foldernames”）;YActual = imds.Labels;YPred =分类(净、imd);K = sum(YActual == actualValue & YPred == predValue);N = sum(YActual == actualValue);metricOutput = 100 * K / N;结束