主要内容

评估回归学习者的模型性能

在回归学习者中的回归模型之后,您可以基于型号统计信息进行比较模型,可视化响应图中的结果,或通过绘制实际与预测响应,并使用残余图评估模型。

  • 如果你使用K.- 折叠交叉验证,那么应用程序计算使用该观察中的模型统计信息K.验证折叠并报告平均值。它对验证折叠中的观察结果进行预测,图表显示了这些预测。它还可以计算验证褶皱中观测值的残差。

    笔记

    将数据导入应用程序时,如果接受默认值,则应用程序会自动使用交叉验证。要了解更多信息,请参阅选择验证方案

  • 如果你使用拒绝验证,应用程序会使用验证折叠中的观察值计算模型统计数据,并对这些观察值做出预测。该应用程序在绘图中使用这些预测,并根据预测计算残差。

  • 如果您使用重新提交验证,则该分数是基于所有培训数据的重新提交模型统计数据,并且预测是重新提交预测。

在型号窗格中检查性能

在回归学习器中训练一个模型后,检查模型窗格,以查看哪一种模式拥有最好的总分。最好的RMSE(验证)在一个盒子里突出显示。此分数是验证集上的根均方误差(RMSE)。该分数估计训练有素模型对新数据的性能。使用分数来帮助您选择最佳型号。

  • 对于交叉验证,分数是所有观察结果的RMSE,当它处于保持(验证)折叠时计算每个观察。

  • 对于HoldOut验证,分数是RMSE对所持检测。

  • 对于再替代验证,得分是所有训练数据的再替代RMSE。

最好的总分可能不是您目标的最佳型号。有时,整体分数略低的模型是您的目标更好的模型。您希望避免过度装备,您可能希望排除一些数据收集昂贵或困难的预测器。

查看和比较模型统计

您可以查看模型统计信息当前模型的总结窗格并使用这些统计数据来评估和比较模型。这培训结果在验证集上计算统计数据。这测试结果如果显示统计信息,则是在导入的测试集上计算的。有关更多信息,请参见评估测试集模型性能

“示例当前模型摘要”窗格

复制信息中的信息当前模型的总结窗格,您可以右键单击窗格并选择复制文本

模型统计

统计 描述 小费
RMSE. 均方根误差。RMSE总是正的,它的单位与你的响应的单位相匹配。 寻找RMSE较小的值。
平方 确定系数。R线始终小于1,通常大于0.它将训练模型与响应恒定的模型进行比较,并且等于训练响应的平均值。如果您的模型比该常量模型更差,则R角为负。 寻找靠近1的R线。
均方误差 均方误差。MSE是RMSE的平方。 寻找MSE的较小值。
平均绝对误差。MAE总是正的,与RMSE相似,但对异常值不太敏感。 寻找mae的较小值。

您可以根据不同的模型统计来对模型进行排序。要为模型排序选择统计信息,请使用排序列表在最上面模型窗格。

中列出的不需要的型号也可以删除模型窗格。选择要删除的模型,然后单击删除选定的模型按钮,或者右键单击模型并选择删除模型.属性中的最后一个剩余模型不能删除模型窗格。

在响应图中探索数据和结果

在响应绘图中,查看回归模型结果。培训回归模型后,响应绘图显示预测响应与记录号。如果您使用的是HoldOut或交叉验证,那么这些预测是对所示(验证)观察的预测。换句话说,使用在不使用相应观察的情况下训练的模型获得每个预测。要调查您的结果,请使用右侧的控件。你可以:

  • 图预测和/或真实的反应。使用下面的复选框情节做出选择。

  • 显示预测误差,在预测的和真实的响应之间画成竖线,通过选择错误复选框。

  • 选择绘制的变量X-AXIS.您可以选择记录编号或您的预测变量之一。

  • 将响应作为标记绘制,或者作为盒子图风格.你只能选择箱形图当变量上时X-axis有很少的独特价值。

    箱线图显示响应的典型值和任何可能的异常值。中间的标记表示中位数,盒子的底部和顶部边缘分别是第25和75个百分位数。被称为“须”的垂直线从方框延伸到不被认为是异常值的最极端的数据点。的值单独绘制离群值'+'的象征。有关箱形图的更多信息,请参见箱线图

要导出您在应用程序中创建的响应绘图,请参阅在回归学习者应用程序中的导出图

预测与实际反应

使用预测的VS.实际图来检查模型性能。使用此曲线来了解回归模型对不同响应值的预测程度。在培训模型后查看预测的与实际绘图,在回归学习者标签,在情节部分,点击预测与实际并选择验证数据

打开绘图时,绘制模型的预测响应是针对实际的真实响应。完美的回归模型具有等于真实响应的预测响应,因此所有点都位于对角线上。从线到任何点的垂直距离是该点预测的错误。一个好的模型有很小的错误,因此预测分散在线附近。

通常一个好的模型在对角线周围有一些大致对称分布的点。如果您能在图中看到任何清晰的模式,那么您就有可能改进您的模型。尝试训练一个不同的模型类型,或者使用先进的选项的模型类型部分。如果您无法提高模型,则可能需要更多数据,或者您缺少一个重要的预测因素。

要将应用程序中创建的预测图与实际图导出为图形,请参见在回归学习者应用程序中的导出图

使用残差绘图评估模型

使用Residuals Plot来检查模型性能。在培训模型后查看残差图回归学习者标签,在情节部分,点击残差并选择验证数据.残差绘图显示预测和真实响应之间的差异。选择绘制的变量X-AXIS.选择真实响应,预测响应,记录编号或您的预测器之一。

通常一个好的模型的残差大致对称地散布在0附近。如果您能在残差中看到任何清晰的模式,那么您就有可能改进您的模型。看看这些模式:

  • 残差不会对称分布在0左右。

  • 残差在地块上从左到右的大小变化显著。

  • 异常值发生,即,比其余的残差大得多。

  • 残差中出现明显的非线性模式。

尝试培训不同的模型类型,或者使用当前的模型类型使用该类型更灵活先进的选项的模型类型部分。如果您无法提高模型,则可能需要更多数据,或者您缺少一个重要的预测因素。

要将应用程序中创建的残差图导出为数字,请参见在回归学习者应用程序中的导出图

评估测试集模型性能

在回归学习者中培训模型后,您可以评估应用程序中的测试中的模型性能。此过程允许您检查验证度量是否为新数据上的模型性能提供了良好的估计。

  1. 将测试数据导入回归学习者。

    • 如果测试数据集位于MATLAB中®工作区,然后在测试一节回归学习者选项卡,单击测试数据并选择来自工作区

    • 如果测试数据集在文件中,则在其中测试部分,点击测试数据并选择从文件.在列表中选择文件类型,例如电子表格,文本文件或逗号分隔值(. csv)文件或选择所有文件浏览其他文件类型,例如.DAT.

    在“导入测试数据”对话框中,选择从中设置的测试数据测试数据集变量列表。测试集必须具有与导入用于训练和验证的预测器相同的变量。

  2. 计算测试集指标。

    • 要计算单个模型的测试度量,请在模型窗格。在回归学习者标签,在测试部分,点击测试所有并选择选择测试

    • 要计算所有培训型号的测试指标,请单击测试所有并选择测试所有在里面测试部分。

    该应用程序计算在完整数据集上培训的每个模型的测试集性能,包括培训和验证数据。

  3. 将验证度量与测试指标进行比较。

    在里面当前模型的总结窗格,该应用程序显示验证度量标准和测试指标培训结果部分和测试结果部分,分别。您可以检查验证度量是否为测试度量提供了良好的估计。

    您还可以使用图来可视化测试结果。

    • 显示预测的和实际的情节。在里面情节一节回归学习者选项卡,单击预测与实际情节并选择测试数据

    • 显示残差绘图。在里面情节部分,点击残差情节并选择测试数据

例如,看到使用回归学习者应用程序中的测试集检查模型性能.有关在超参数优化工作流中使用测试集指标的示例,请参见在回归学习程序中使用超参数优化训练回归模型

相关话题