评估分类器在分类学习者的表现
学习者训练分类器分类之后,可以基于准确性分数比较模型,可视化结果通过策划类的预测,并检查性能使用混淆矩阵和ROC曲线。
如果你使用k倍交叉验证,那么应用程序使用的观测计算准确性分数k验证折叠和报告的平均交叉验证错误。这也使得预测这些验证折叠的观测和计算混淆矩阵根据这些预测和ROC曲线。
请注意
将数据导入到应用程序的时候,如果你接受默认值,应用自动使用交叉验证。欲了解更多,请看选择验证方案。
如果你坚持使用验证,应用计算准确性分数在验证中使用观察折叠,使预测这些观察。应用程序还计算混淆矩阵和基于这些预测ROC曲线。
如果你使用resubstitution验证,比分是resubstitution精度基于训练数据,和预测resubstitution预测。
检查面板性能的模型
在分类学习者训练模型后,检查模型窗格中看到哪个模型的最佳百分比的整体精度。最好的准确性(验证)分数是强调在一个盒子里。这一点是验证精度。验证准确性分数估计模型的性能相比,新数据的训练数据。用分数来帮助你选择最好的模型。
交叉验证,比分是在所有观测精度,计算每个观测时抵抗(验证)褶皱。
坚持验证,比分是伸出的观测精度。
resubstitution验证,比分是resubstitution对所有训练数据观测精度。
最好的总分为你的目标可能不是最好的模型。稍微降低总体精度模型可能是最好的为你的目标分类器。例如,在特定类中假阳性的可能是对你很重要。您可能想要排除一些预测数据收集是昂贵或困难的。
找出每个类的分类器进行检查混淆矩阵。
视图和比较模型度量
您可以查看模型度量的当前模型的总结面板和使用这些指标来评估和比较模型。的培训结果指标计算验证集。测试结果计算指标,如果显示,进口测试集。更多信息,明白了评估测试集模型性能。
复制的信息当前模型的总结窗格中,右键单击面板并选择复制文本。
模型指标
| 度规 | 描述 | 提示 |
|---|---|---|
| 精度 | 比例的正确分类的观察 | 寻找更大的精度值。 |
| 总成本 | 误分类总成本 | 寻找小总成本值。确保精度值还大。 |
你可以基于不同模型度量模型。选择排序的度量模型,使用排序列表的顶部模型窗格。
您还可以删除不需要的模型中列出模型窗格。选择您要删除的模型并单击删除选定的模型按钮在右上角的窗格中,或右键单击并选择模型删除模型。你不能删除最后一个模型模型窗格。
情节分类器的结果
使用散点图检查分类器的结果。视图的散点图模型,选择模型模型窗格。在分类学习者选项卡,情节部分,单击箭头打开画廊,然后单击散射在验证结果组。你训练一个分类器后,散点图从显示的数据切换显示模型预测。如果您使用的是抵抗或交叉验证,那么这些预测是预测伸出(验证)的观察。换句话说,每个使用模型预测得到训练不使用相应的观察。
调查结果,使用右边的控件。您可以:
选择是否情节模型预测或单独的数据。
显示或隐藏使用复选框下正确的或不正确的结果模型的预测。
选择阴谋使用特性X和Y列表下预测。
可视化结果由显示或隐藏特定的类类使用复选框显示。
变化的叠加顺序绘制类通过选择下一个类类然后点击移到前面。
放大和缩小,或者锅整个阴谋。使缩放或移动,鼠标在散点图,然后单击工具栏上的相应按钮出现上图右上角的阴谋。
另请参阅调查在散点图特征。
出口数据的散点图您创建应用程序,看看出口情节分类学习者应用。
检查性能混淆矩阵中的每个类
使用混淆矩阵图来了解当前选中的分类器中执行每个类。你训练分类模型后,应用程序会自动打开的混淆矩阵模型。如果你训练一个“所有”模型,应用程序打开的混淆矩阵第一个模型。查看另一个模型的混淆矩阵,选择模型模型窗格。在分类学习者选项卡,情节部分,单击箭头打开画廊,然后单击混淆矩阵(验证)在验证结果组。混淆矩阵可以帮助您识别分类器的表现不佳的地区。
当你打开情节,行显示真正的类,列显示预测类。如果您使用的是维持或交叉验证,那么混淆矩阵计算使用预测伸出(验证)的观察。对角线细胞指出真正的类和预测类比赛。如果这些对角线细胞是蓝色的,正确分类器分类的观察这一事实类。
默认视图显示了每个细胞的观察。
看看每个类,分类器执行情节,选择真阳性比率(TPR),假阴性率(FNR)选择。TPR正确的比例分类观察每个真正的类。FNR是错误的比例分类观察每个真正的类。情节显示总结每个真正的类在过去两列在右边。
提示
寻找地区分类器通过检查细胞表现不佳的对角线显示高百分比和橙色。比例越高,细胞的暗色调的颜色。在这些橙色细胞,真正的阶级和预测类不匹配。更进一步的数据点。
在这个例子中,使用了carsmall来自上层的数据集,第二行显示了所有德国汽车与真正的类。列显示预测的类。从德国的汽车,22.2%被正确分类22.2%正确分类的真阳性分在这个类中,蓝色的细胞所示TPR列。
德国的其他车辆行分类错误的:55.6%的汽车是错误地分类为来自日本,和22.2%被归类为来自美国。错误分类的假阴性率点这类77.8%,橙色的细胞所示FNR列。
如果你想看多的观察(汽车,在这个例子中)而不是百分比,情节中,选择数量的观察。
如果假阳性是重要的在你的分类问题,每个预测类阴谋的结果(而不是真正的类)调查错误发现率。结果每个预测类,情节,选择阳性预测值(PPV),错误发现率(罗斯福)选择。PPV正确的比例分类观察每个预测类。罗斯福是错误分类的观察每个预测类的比例。选择这个选项,现在混淆矩阵包括以下表汇总行。阳性预测值蓝色所示正确预测点的每个类,和错误发现率橙色所示错误地预测点的每个类。
如果你决定是不是有太多点感兴趣的课,尝试改变分类器设置或特征选择寻找一个更好的模型。
出口的混淆矩阵块您创建应用程序的数据,看看出口情节分类学习者应用。
检查ROC曲线
查看中华民国曲线模型训练后,在分类学习者选项卡,情节部分,单击箭头打开画廊,然后单击ROC曲线(验证)在验证结果组。查看接受者操作特征(ROC)曲线显示真实和假阳性。ROC曲线显示了真阳性率与假阳性率为当前选择的训练分类器。你可以选择不同的类图。
图上的标记显示当前选中的分类器的性能。标记显示的值假阳性率(玻璃钢)和真阳性率(TPR)当前选中的分类器。例如,假阳性率(玻璃钢)0.2表明当前分类器分配20%的观察不正确积极的类。真阳性的0.9表明当前分类器分配90%的观察正确积极的类。
一个完美的结果,没有更进一步的点是一个直角左上角的阴谋。一个贫穷的结果并不比随机在45度线。的曲线下的面积数是衡量整个分类器的质量。更大的曲线下的面积值表明更好的分类性能。比较类和训练的模型,看看他们在ROC曲线表现不同。
有关更多信息,请参见perfcurve。
出口ROC曲线阴谋您在应用程序中创建的数据,看看出口情节分类学习者应用。
情节比较模型通过改变布局
可视化的结果模型训练分类学习者通过使用中的情节选项情节部分的分类学习者选项卡。你可以重新排列的布局图对比结果跨多个模型:使用的选项布局按钮,拖拽的阴谋,或选择选项提供的文档模型的行为向右箭头图选项卡。
例如,在分类学习者训练两个模型后,显示为每个模型和改变剧情情节布局比较土地使用其中的一个过程:
点击布局并选择比较模型在情节部分的分类学习者选项卡。
单击第二个模型选项卡名称,然后拖拽向右第二个模型选项卡。
单击文档行为模型的最右边的箭头图选项卡。选择
瓷砖都选择并指定一个1×2布局。
注意,您可以点击隐藏情节选项按钮
在右上角的情节,使更多的空间情节。
评估测试集模型性能
在分类学习者训练模型后,你可以在一个测试评估模型的性能在应用程序中设置。这个过程允许您检查是否验证精度提供了一个很好的估计性能的新数据模型。
一组测试数据导入分类学习者。
如果测试数据集在MATLAB®工作空间,然后在测试上节分类学习者选项卡上,单击测试数据并选择从工作空间。
如果测试数据集在一个文件中,然后在测试部分中,点击测试数据并选择从文件。选择一个文件类型列表中,如电子表格、文本文件,或逗号分隔值(
. csv)文件,或选择所有文件浏览其他文件类型等.dat。
在导入测试数据对话框中,选择的测试数据集测试数据设置变量列表。测试设置必须具有相同的变量作为训练和验证预测进口。独特的测试响应变量中的值必须在完整的一个子集类响应变量。
计算测试集的度量标准。
计算测试指标为一个模型,选择训练模式模型窗格。在分类学习者选项卡,测试部分中,点击测试所有并选择测试选择。
为所有训练模型计算测试指标,点击测试所有并选择测试所有在测试部分。
每个模型的应用计算测试集性能完整的训练数据集,包括培训和验证数据。
比较验证的准确性和测试精度。
在当前模型的总结窗格中,应用程序显示验证指标和测试指标培训结果节和测试结果部分,分别。你可以检查是否验证精度很好估计测试精度。
你也可以想象使用情节的测试结果。
显示一个混淆矩阵。在情节上节分类学习者选项卡中,单击箭头打开画廊,然后单击混淆矩阵(测试)在测试结果组。
显示一个ROC曲线。在情节部分,单击箭头打开画廊,然后单击ROC曲线(测试)在测试结果组。
例如,看到的检查使用测试集分类器性能分类学习者应用。为例,利用测试集指标hyperparameter优化工作流程,明白了训练分类器在分类学习者使用Hyperparameter优化应用程序。
