这个例子展示了如何使用度量函数来评估实验的结果。默认情况下,当你进行内置训练实验时,实验管理器计算实验中每个试验的损失、准确度(用于分类实验)和均方根误差(用于回归实验)。要计算其他度量,请创建自己的度量函数。例如,您可以将度量函数定义为:
测试训练网络的预测性能。
通过计算验证损失在最终epoch上的斜率来评估训练进度。
显示在每个试验中使用不同网络架构的实验中使用的网络的大小。
当每个试验完成训练后,实验经理评估度量函数,并在结果表中显示它们的值。
在本例中,训练一个网络对手写数字图像进行分类。两个度量函数决定了训练过的网络识别数字1和7的图像的能力。有关使用实验管理器训练网络进行图像分类的更多信息,请参见扫描超参数图像分类.
在内置的训练实验中添加一个度量函数。
1.在实验窗格中,在指标,点击添加.
2.在增加指标对话框中,输入度量函数的名称,然后单击好吧.如果输入项目中已经存在的函数的名称,实验管理器会将其添加到实验中。否则,实验管理器将创建一个由默认模板定义的函数。
3.选择指标函数的名称,单击编辑.在MATLAB®编辑器中打开度量函数。
度量函数的输入是一个包含三个字段的结构:
trainedNetwork
是SeriesNetwork
对象或DAGNetwork
对象返回的trainNetwork
函数。有关更多信息,请参见网.
trainingInfo
方法返回的训练信息是否包含结构trainNetwork
函数。有关更多信息,请参见信息.
参数
具有来自超参数表的字段的结构。
自定义度量函数的输出必须是标量、逻辑值或字符串。
首先,打开示例。实验管理器加载一个带有预先配置的实验的项目,您可以检查和运行该实验。打开实验,在实验的浏览器窗格中,双击实验的名称(ClassificationExperiment
).
内置的训练实验由描述、超参数表、设置函数和用于评估实验结果的度量函数集合组成。有关更多信息,请参见配置内置训练实验.
的描述字段包含实验的文本描述。对于本例,描述如下:
数字分类,使用度量函数评估结果:* OnesAsSevens返回误分类为7s的1的百分比。* SevensAsOnes返回误分类为1的7的百分比。
的Hyperparameters部分指定策略(详尽的扫描
)和用于实验的超参数值。运行实验时,“实验管理器”将使用超参数表中指定的超参数值的每个组合来训练网络。本例使用超参数InitialLearnRate
而且动力
.
的设置函数为实验配置训练数据、网络架构和训练选项。setup函数的输入是一个包含超参数表字段的结构。setup函数返回三个输出,用于训练图像分类问题的网络。在本例中,setup函数有三个部分。
负荷训练数据定义包含训练和验证数据的图像数据存储。本示例从Digits数据集中加载图像。有关此数据集的更多信息,请参见图像数据集.
digitDatasetPath = fullfile(toolboxdir(“nnet”),...“nndemos”,“nndatasets”,“DigitDataset”);imdsTrain = imageDatastore(digitDatasetPath,...IncludeSubfolders = true,...LabelSource =“foldernames”);
numTrainingFiles = 750;[imdsTrain,imdsValidation] = splitEachLabel(imdsTrain,numTrainingFiles);
定义网络架构定义用于深度学习分类的卷积神经网络的体系结构。本例使用setup函数模板提供的默认分类网络。
inputSize = [28 28 1];numClasses = 10;layers = [imageInputLayer(inputSize) convolution2dLayer(5,20) batchNormalizationLayer reluLayer fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];
指定培训项目定义了一个trainingOptions
实验对象。该示例加载训练选项的值“InitialLearnRate”
而且“动量”
从超参数表。
选项= trainingOptions(“个”,...MaxEpochs = 5,...ValidationData = imdsValidation,...ValidationFrequency = 30,...InitialLearnRate =参数。InitialLearnRate,...动量=参数。动力,...Verbose = false);
要检查设置功能,请按设置函数,点击编辑.在MATLAB®编辑器中打开设置函数。此外,设置函数的代码出现在附录1在这个例子的最后。
的指标节指定评估实验结果的可选函数。实验管理器每次完成网络训练后都会评估这些功能。选中指标函数的名称,单击,可以查看指标函数编辑.在MATLAB编辑器中打开度量函数。
这个例子包含两个度量函数。
OnesAsSevens
返回数字1的图像被训练过的网络误分类为7的百分比。
SevensAsOnes
返回被训练过的网络误分类为数字7的图像的百分比。
这些函数中的每一个都使用经过训练的网络对整个Digits数据集进行分类。然后,函数确定实际标签和预测标签不一致的图像数量。例如,函数OnesAsSevens
计算实际标签为的图像数量' 1 '
和一个预测的标签“7”
.类似地,函数SevensAsOnes
计算实际标签为的图像数量“7”
和一个预测的标签' 1 '
.这些度量函数的代码出现在附录2而且附录3在这个例子的最后。
当您运行实验时,实验管理器将对由设置函数定义的网络进行六次训练。每次试验使用不同的超参数值组合。默认情况下,实验管理器每次运行一个试验。如果您有并行计算工具箱™,您可以同时运行多个试验。为了获得最好的结果,在运行实验之前,启动一个具有与gpu一样多的worker的并行池。有关更多信息,请参见使用实验管理器并行训练网络而且GPU支金宝app持版本(并行计算工具箱).
若要一次运行一个试验,请在“实验管理器”工具条上单击运行.
若要同时运行多个试验,请单击使用并行然后运行.如果当前没有并行池,experimental Manager将使用默认集群配置文件启动一个并行池。然后,根据可用的并行工作人员的数量,实验管理器执行多个同时进行的试验。
结果表显示了每个试验的度量函数值。
要为你的实验找到最好的结果,请对结果表进行排序。例如,找出错误分类次数最少的试验。
指向OnesAsSevens列。
单击三角形图标。
选择升序排序.
的下拉菜单,找到错误分类7最少的试验SevensAsOnes列和选择升序排序.
如果没有一个试验同时最小化两个指标函数,考虑优先考虑对每个指标排名良好的试验。例如,在这些结果中,试验5是每个度量函数的前三个试验之一。
要记录对实验结果的观察,请添加注释。
在结果表中,右键单击OnesAsSevens最好的审判细胞。
选择添加注释.
在注释窗格,在文本框中输入您的观察结果。
控件重复上述步骤SevensAsOnes细胞。
有关更多信息,请参见对实验结果进行排序、过滤和注释.
在实验的浏览器窗格中,右键单击项目的名称并选择关闭项目.实验管理器关闭项目中包含的所有实验和结果。
该功能配置实验的训练数据、网络架构和训练选项。
输入
参数个数
是一个包含来自experimental Manager超参数表字段的结构。
输出
imdsTrain
是用于训练数据的图像数据存储。
层
是定义神经网络架构的层图。
选项
是一个trainingOptions
对象。
函数[imdsTrain,layers,options] = ClassificationExperiment_setup1(params) digitDatasetPath = fullfile(toolboxdir(“nnet”),...“nndemos”,“nndatasets”,“DigitDataset”);imdsTrain = imageDatastore(digitDatasetPath,...IncludeSubfolders = true,...LabelSource =“foldernames”);numTrainingFiles = 750;[imdsTrain,imdsValidation] = splitEachLabel(imdsTrain,numTrainingFiles);inputSize = [28 28 1];numClasses = 10;layers = [imageInputLayer(inputSize) convolution2dLayer(5,20) batchNormalizationLayer reluLayer fullyConnectedLayer(numClasses) softmaxLayer classificationLayer];选项= trainingOptions(“个”,...MaxEpochs = 5,...ValidationData = imdsValidation,...ValidationFrequency = 30,...InitialLearnRate =参数。InitialLearnRate,...动量=参数。动力,...Verbose = false);结束
这个函数决定了被错误分类为7的1的数量。
函数metricOutput = OnesAsSevens(trialInfo) actualValue =' 1 ';predValue =“7”;net = trialInfo.trainedNetwork;digitDatasetPath = fullfile(toolboxdir(“nnet”),...“nndemos”,“nndatasets”,“DigitDataset”);imds = imageDatastore(digitDatasetPath,...IncludeSubfolders = true,...LabelSource =“foldernames”);YActual = imds.Labels;YPred =分类(net,imds);K = sum(YActual == actualValue & YPred == predValue);N = sum(YActual == actualValue);metricOutput = 100*K/N;结束
这个函数决定了被错误分类为1的7的个数。
函数metricOutput = SevensAsOnes(trialInfo“7”;predValue =' 1 ';net = trialInfo.trainedNetwork;digitDatasetPath = fullfile(toolboxdir(“nnet”),...“nndemos”,“nndatasets”,“DigitDataset”);imds = imageDatastore(digitDatasetPath,...IncludeSubfolders = true,...LabelSource =“foldernames”);YActual = imds.Labels;YPred =分类(net,imds);K = sum(YActual == actualValue & YPred == predValue);N = sum(YActual == actualValue);metricOutput = 100*K/N;结束