检查使用测试集分类器性能分类学习者应用
这个例子展示了如何在分类学习者训练多个模型,并确定表现最好的模型基于验证的准确性。检查表现最好的测试精度模型训练的完整的数据集,包括培训和验证数据。
在MATLAB®命令窗口,加载
电离层数据集,并创建一个包含数据的表。单独的表分成训练集和测试集。负载电离层台= array2table (X);资源描述。Y= Y; rng(“默认”)%的再现性数据分割分区= cvpartition (Y,“坚持”,0.15);idxTrain =培训(分区);%训练集的指标tblTrain =(资源(idxTrain:);tblTest =(资源(~ idxTrain:);
或者,您可以创建一个测试集以后当你将数据导入到应用程序。更多的信息,知道了(可选)储备数据进行测试。
开放分类学习者。单击应用程序选项卡,然后单击右侧的箭头应用程序画廊部分打开应用程序。在机器学习和深度的学习组中,单击分类学习者。
在分类学习者选项卡,文件部分中,点击新会话并选择从工作空间。
新会话从工作区对话框中,选择
tblTrain表的数据集变量列表。所示的对话框中,应用程序选择和预测变量的响应。默认的响应变量
Y。防止过度拟合,默认5倍交叉验证验证选项。对于这个示例,不改变默认设置。
并继续接受默认选项,点击开始会议。
培训所有预设的模型。在分类学习者选项卡,模型部分,单击箭头打开画廊。在开始组中,单击所有。在火车部分中,点击火车都并选择火车都。应用列车每个预置模式类型之一,随着违约罚款树模型,并显示的模型模型窗格。
请注意
如果你有并行计算工具箱™,那么应用程序的使用并行默认按钮进行切换。你点击后火车都并选择火车都或选择火车应用程序打开一个平行的工人。在这段时间里,你不能与软件交互。池打开后,可以继续与应用程序交互,同时并行模型火车。
如果你没有并行计算工具箱,然后应用程序了使用背景培训复选框的火车都菜单默认选中。你选择一个选项来训练模型后,应用程序打开一个背景池。池打开后,可以继续与应用程序交互,同时在后台模型火车。
训练分类模型的基础上,验证精度。在模型窗格中,打开排序列表并选择
准确性(验证)。在模型窗格中,单击旁边的星星图标最高的三个模型验证精度。应用强调验证精度最高的概述它在一个盒子里。在这个例子中,训练支持向量机内核模型验证精度最高。
这个应用程序显示一个验证混淆矩阵的第二好树模型(模型2.1)。蓝色值指示正确分类,红色值显示不正确的分类。的模型左边的面板显示了每个模型的验证的准确性。
请注意
验证了一些随机性的结果。你的模型验证结果可以从这个例子中所示的结果不同。
检查测试集的性能表现最好的模型。首先将测试数据导入到应用程序。
在分类学习者选项卡,测试部分中,点击测试数据并选择从工作空间。
在导入测试数据对话框中,选择
tblTest表的测试数据设置变量列表。所示的对话框中,应用识别和预测变量的响应。
点击进口。
计算上最好的预设模型的准确性
tblTest数据。为方便起见,所有模型的计算精度测试集。在分类学习者选项卡,测试部分中,点击测试所有并选择测试所有。应用计算测试集的性能模型训练的完整的数据集,包括培训和验证数据。模型基于测试集的精度。在模型窗格中,打开排序列表并选择
准确性(测试)。app还概述了度量模型验证精度最高的,尽管显示测试精度。视觉检查测试集的性能模型。对于每一个主演模型,选择模型模型窗格。在分类学习者选项卡,情节和解释部分,单击箭头打开画廊,然后单击混淆矩阵(测试)在测试结果组。
重新排列的布局图,以更好地进行比较。首先,总结和情节紧密的联系模型1和2.1模型。然后,单击文档操作箭头位于模型的极右派情节选项卡。选择
瓷砖都选择并指定一个1×3布局。点击隐藏情节选项按钮
在右上角的情节,使更多的空间情节。在这个例子中,训练介质高斯支持向量机模型是表现最好的模型在测试集数据。
回到最初的布局,你可以点击布局按钮情节和解释部分并选择单一模式(默认)。
训练有素的验证和测试精度进行比较支持向量机内核模型。在模型面板,双击模型。在模型中总结选项卡中,比较准确性(验证)值下培训结果到准确性(测试)值下测试结果。在这个例子中,验证精度高于测试精度,这表明验证准确性可能是高估了这个模型的性能。
