可视化和性能评估模型回归的学习者
训练后回归模型中回归的学习者,你可以比较模型基于模型指标,可视化结果响应情节或通过绘制实际与预测反应,使用剩余情节和评估模型。
如果你使用k倍交叉验证,那么应用程序计算模型使用的观测指标k验证折叠和报告的平均价值。它使预测的观测验证折叠和情节展示这些预测。它还计算残差的观测验证折叠。
请注意
将数据导入到应用程序的时候,如果你接受默认值,应用自动使用交叉验证。欲了解更多,请看选择验证方案。
如果你坚持使用验证,应用计算模型使用的观测指标验证褶皱,使预测这些观察。应用程序使用这些预测的情节,也基于预测计算残差。
如果你使用resubstitution验证、基于resubstitution模型度量值的所有训练数据和预测resubstitution预测。
检查性能在模型面板中
在回归学习者训练模型后,检查模型窗格中看到哪些模型有最好的总分。最好的RMSE(验证)突出显示在一个盒子里。这一点是根均方误差(RMSE)验证集。分数估计新数据训练模型的性能。用分数来帮助你选择最好的模型。
交叉验证,比分是RMSE所有观察没有留出测试,计算每个观测时抵抗(验证)褶皱。
为抵抗验证,比分是伸出的RMSE观察。
resubstitution验证,比分是resubstitution RMSE在所有训练数据。
最好的总分为你的目标可能不是最好的模型。有时一个模型稍微降低总体得分为目标是更好的模型。你想避免过度拟合,你可能想要排除一些预测数据收集是昂贵或困难的。
视图模型指标在总结选项卡和模型面板中
您可以查看模型度量模型中总结选项卡,模型面板,使用这些指标来评估和比较模型。或者,您可以使用结果表标签比较模型。有关更多信息,请参见比较模型信息和结果在表视图中。
的培训结果指标计算验证集。测试结果计算指标,如果显示,进口测试集。更多信息,明白了评估测试集模型性能。
模型指标
| 统计 | 描述 | 提示 |
|---|---|---|
| RMSE | 根均方误差。RMSE总是正的,单位与单位的反应。 | 寻找RMSE值较小。 |
| 平方 | 确定系数。平方总是小于1,通常大于0。比较训练模型与模型的响应是恒定的和等于训练反应的均值。如果你的模型比这个常数模型,然后平方是负数。 | 寻找一个平方接近1。 |
| 均方误差 | 均方误差。MSE RMSE的平方。 | 寻找MSE的较小值。 |
| 美 | 平均绝对误差。美总是积极和RMSE相似,但不太敏感的离群值。 | 寻找美值较小。 |
| 预测的速度 | 估计预测速度的新数据,根据预测时间验证数据集 | 后台进程内部和外部的应用程序可以影响这个估算,所以火车模型相似条件下更好的比较。 |
| 培训时间 | 培训时间模型 | 后台进程内部和外部的应用程序可以影响这个估算,所以火车模型相似条件下更好的比较。 |
| 模型尺寸(小型) | 模型的大小如果导出为一个紧凑的模型(也就是说,没有训练数据) | 寻找适合的模型尺寸值目标硬件应用程序的内存需求。 |
你可以排序模型模型根据不同的模型指标窗格中。选择一个指标进行排序,使用排序列表的顶部模型窗格。并不是所有的指标可用于模型排序的模型窗格。你可以通过其他指标的排序模型结果表(见比较模型信息和结果在表视图中)。
您还可以删除不需要的模型中列出模型窗格。选择您要删除的模型并单击删除选定的模型按钮在右上角的窗格中,点击删除在模型部分的回归的学习者选项卡,或右键单击并选择模型删除。你不能删除最后一个模型模型窗格。
比较模型信息和结果在表视图中
而不是使用总结选项卡或模型面板比较模型度量,您可以使用一个表的结果。在回归的学习者选项卡,模型部分中,点击结果表。在结果表选项卡中,可以排序模型的训练和测试结果,以及他们的选择(如模型类型,选择特性,PCA,等等)。例如,模型的根均方误差,点击排序箭头RMSE(验证)列标题。的向上箭头表明模型排序最低RMSE RMSE最高。
查看更多表列选项,单击“选择列显示”按钮
在桌子的右上角。在Select列显示对话框,检查框您想要显示的列在结果表中。新选中的列添加到右边的表。
在结果表中,您可以手动拖拽表列,这样他们出现在你的优先顺序。
你可以收藏一些模型的使用最喜欢的列。应用程序不断的选择喜欢的模型结果表和之间的一致模型窗格。与其他列最喜欢的和型号从表中列不能被删除。
从表中删除一行,一行并单击右键单击任何条目隐藏的行(或隐藏选定行(s)如果行突出显示)。连续删除行,点击任何你想要的条目在第一行删除转变,然后单击任何条目在最后一行你想删除。然后,右键单击其中一个条目并单击突出显示隐藏选定行(s)。恢复删除所有行,右键单击任何表中的条目并单击显示所有行。恢复行附加表的底部。
出口信息表中,使用一个导出按钮
在桌子的右上角。选择导出表工作区或一个文件中。导出的表只包含显示的行和列。
研究数据和结果的反应
查看回归模型结果通过使用响应图,显示预测的响应与记录编号。你训练一个回归模型后,应用自动打开模型的响应图。如果你训练一个“所有”模型,应用打开第一个模型的响应图。查看另一个模型的响应图,选择模型模型窗格。在回归的学习者选项卡,情节和解释部分,单击箭头打开画廊,然后单击响应在验证结果组。如果您使用的是抵抗或交叉验证,那么预测响应值的预测伸出(验证)的观察。换句话说,每个预测软件获得通过使用一个模型,训练没有相应的观察。
调查结果,使用右边的控件。您可以:
情节预测和/或真实的反应。使用复选框下情节让你的选择。
显示预测错误,画竖线之间的预测和真正的反应,通过选择错误复选框。
选择变量的阴谋x设在下轴。你可以选择记录号码或者你的一个预测变量。
情节的响应作为标记,或一盒阴谋风格。您可以选择箱线图只有当变量上x设在有几个独特的价值观。
箱线图显示响应的典型值和任何可能的异常值。中央马克表示中位数,盒子的底部和顶部边缘是第25和第75百分位数,分别。垂直的线,称为胡须,扩展从盒子最极端的数据点不被认为是离群值。离群值绘制单独使用
“o”的象征。箱形图的更多信息,请参阅boxchart。
出口情节中创建的应用程序的响应数据,看看出口情节回归学习者应用。
预测与实际响应
使用预测与实际的情节来检查模型性能。使用这个情节理解的回归模型预测的不同响应值。查看预测与实际情节训练模型后,单击箭头情节和解释部分打开画廊,然后单击预测与实际(验证)在验证结果组。
当你打开情节,预测响应你的模型是对实际的绘制,真实的反应。一个完美的回归模型预测响应等于真正的响应,所以所有的点躺在一个对角线。线的垂直距离任意点的错误预测。一个好的模型有小错误,这意味着预测分布线附近。
通常一个好的模型点分散在对角线大致对称。如果你能看到任何明确的情节模式,很可能,你可以提高你的模型。试着训练不同的模型类型或使你当前的模型类型更灵活的复制模型并使用模型Hyperparameters选择模型中总结选项卡。如果你不能提高你的模型中,可能需要更多的数据,或者你缺少一个重要的预测指标。
出口预测与实际情节中创建的应用程序的数据,看看出口情节回归学习者应用。
使用残差图评估模型
使用残差图检查模型的性能。查看训练模型后的残差图,单击箭头情节和解释部分打开画廊,然后单击残差(验证)在验证结果组。残差图显示预测的区别和真正的反应。选择变量的阴谋x设在下轴。选择真实的反应,预测反应,记录数,或预测因子之一。
通常一个好的模型残差分布大致对称约0。如果你能看到任何明确的模式在残差,很可能,你可以提高你的模型。寻找这些模式:
残差不对称地分布在0。
残差变化明显的大小从左到右的阴谋。
出现异常值,即残差比其余的更大的剩余工资。
一个清晰的、非线性的模式出现在残差。
试着训练不同的模型类型,或使你当前的模型类型更灵活的复制模型并使用模型Hyperparameters选择模型中总结选项卡。如果你不能提高你的模型中,可能需要更多的数据,或者你缺少一个重要的预测指标。
出口数据的残差图您创建应用程序,看看出口情节回归学习者应用。
使用部分依赖情节解释模型
部分依赖情节(pdp)允许您可视化的边际效应预测的预测反应训练有素的回归模型。在火车模型回归学习者之后,您可以查看部分情节为模型的依赖。在回归的学习者选项卡,情节和解释部分,单击箭头打开画廊。在解释结果部分中,点击部分依赖。计算部分依赖值时,应用程序使用最终的模型,完整的训练数据集(包括训练和验证数据,但不包括测试数据)。
调查结果,使用右边的控件。
下数据,选择是否使用阴谋的结果训练集数据或测试集数据。训练集是指训练最后的模型和使用的数据包括所有观测不用于测试。
下功能选择功能来使用X列表。绘制线对应于整个预测平均预测响应值。情节的轴刻度线对应于独特的预测价值所选择的数据集。
如果你使用PCA模型训练,你可以选择的主成分X列表。
放大和缩小,或者锅整个阴谋。使缩放或移动,把鼠标PDP并单击工具栏上的相应按钮出现上图右上角的阴谋。
例如,看到的回归模型解释在回归学习者应用训练。部分依赖情节的更多信息,请参阅plotPartialDependence。
出口pdp您在应用程序中创建的数据,看看出口情节回归学习者应用。
情节比较模型通过改变布局
可视化的结果在回归模型训练学习者通过使用中的情节选项情节和解释部分的回归的学习者选项卡。你可以重新排列的布局图对比结果跨多个模型:使用的选项布局按钮,拖拽的阴谋,或选择选项提供的文档模型的行为向右箭头图选项卡。
例如,在回归学习者训练两个模型后,显示为每个模型和改变剧情情节布局比较情节通过使用其中一个程序:
在情节和解释部分中,点击布局并选择比较模型。
单击第二个模型选项卡名称,然后拖拽向右第二个模型选项卡。
单击文档行为模型的最右边的箭头图选项卡。选择
瓷砖都选择并指定一个1×2布局。
注意,您可以点击隐藏情节选项按钮
在右上角的情节,使更多的空间情节。
评估测试集模型性能
在回归学习者训练模型后,你可以在一个测试评估模型的性能在应用程序中设置。这个过程允许您检查是否验证指标提供良好的估计模型性能的新数据。
一组测试数据导入到回归的学习者。另外,储备一些数据测试时将数据导入到应用程序(请参阅(可选)储备数据进行测试)。
如果测试数据集在MATLAB®工作空间,然后在测试上节回归的学习者选项卡上,单击测试数据并选择从工作空间。
如果测试数据集在一个文件中,然后在测试部分中,点击测试数据并选择从文件。选择一个文件类型列表中,如电子表格、文本文件,或逗号分隔值(
. csv)文件,或选择所有文件浏览其他文件类型等.dat。
在导入测试数据对话框中,选择的测试数据集测试数据设置变量列表。测试设置必须具有相同的变量作为训练和验证预测进口。
计算测试集的度量标准。
计算测试指标为一个模型,选择训练模式模型窗格。在回归的学习者选项卡,测试部分中,点击测试所有并选择测试选择。
为所有训练模型计算测试指标,点击测试所有并选择测试所有在测试部分。
每个模型的应用计算测试集性能完整的训练数据集,包括培训和验证数据(但不包括测试数据)。
比较验证指标和测试指标。
在模型中总结选项卡中,应用程序显示验证指标和测试指标培训结果节和测试结果部分,分别。你可以检查是否验证指标给好估计测试指标。
你也可以想象使用情节的测试结果。
显示一个预测与实际的阴谋。在情节和解释上节回归的学习者选项卡中,单击箭头打开画廊,然后单击预测与实际(测试)在测试结果组。
显示一个残差图。在情节和解释部分,单击箭头打开画廊,然后单击残差(测试)在测试结果组。
例如,看到的检查模型的性能在回归学习者应用使用测试集。为例,利用测试集指标hyperparameter优化工作流程,明白了火车回归模型使用Hyperparameter优化回归学习者应用。
