主要内容

使用回归学习软件进行特征选择和特征转换

调查反应图的特征

在回归学习者中,使用响应图来尝试识别对预测响应有用的预测因子。以形象化不同预测因素与反应之间的关系,在,选择不同的变量X列表。

在训练回归模型之前,响应图显示训练数据。如果您训练了一个回归模型,那么响应图也显示了模型预测。

观察哪些变量与响应关联最清楚。当你绘制carbig数据集,预测器马力与回应有明显的负相关。

寻找与响应和使用没有任何关联的特性特征选择将这些特性从使用的预测器集中删除。

汽车数据的响应图,纵轴为每加仑英里数,横轴为马力

您可以将您在应用程序中创建的响应图导出为图形。看到在回归学习者应用程序中导出图

选择要包含的功能

在回归学习器中,您可以指定模型中包含的不同特征(或预测器)。看看是否可以通过删除预测能力低的特征来改进模型。如果数据收集非常昂贵或困难,您可能更喜欢使用较少预测器执行令人满意的模型。

  1. 回归的学习者选项卡,特性部分中,点击特征选择

  2. 在Feature Selection对话框中,清除要排除的预测器的复选框,然后单击好吧

  3. 点击火车用新的预测选项训练一个新的模型。

  4. 观察新模型模型窗格。的当前模型的总结窗格显示排除了多少预测器。

  5. 检查训练模型中包含哪些预测因子。中单击模型模型窗格并查看Feature Selection窗口中的复选框。

  6. 尝试通过包含不同的特性来改进模型。

有关使用特性选择的示例,请参见使用回归学习程序训练回归树

用主成分分析在回归学习中转换特征

使用主成分分析(PCA)降低预测空间的维数。降低维度可以在回归学习者中创建回归模型,帮助防止过拟合。PCA线性变换预测器以去除冗余维数,并生成一组称为主成分的新变量。

  1. 回归的学习者选项卡,特性部分中,选择主成分分析

  2. 在“高级PCA选项”对话框中,选择使主成分分析复选框,然后单击好吧

  3. 点击火车一次。的主成分分析函数在训练模型之前转换选定的特性。

    默认情况下,PCA只保留那些能解释95%方差的组件。在“高级PCA选项”对话框中,您可以通过选择解释的方差价值。较高的值存在过拟合的风险,而较低的值存在删除有用维度的风险。

  4. 手动限制PCA组件的数量。在组件降低标准列表中,选择指定组件数量.选择数字分量数价值。组件的数量不能大于数值预测器的数量。PCA不适用于分类预测。

您可以检查PCA选项中的训练模型当前模型的总结窗格。例如:

主成分分析保留了足够多的成分来解释95%的方差。训练结束后,保留2个部分。每个成分的解释方差(按顺序):92.5%,5.3%,1.7%,0.5%
检查解释的方差百分比,以决定是否改变组件的数量。

要了解更多关于回归学习器如何将PCA应用到您的数据,请为您训练过的回归模型生成代码。有关PCA的更多信息,请参见主成分分析函数。

相关的话题