主要内容

顺序特征选择

本主题介绍了顺序特征选择，并提供了使用自定义标准和顺序选择特征的示例sequentialfs函数。

序列特征选择导论

一种常用的方法特征选择是顺序特征选择．这个方法有两个组成部分:

  • 目标函数，称为标准，该方法寻求在所有可行特征子集上最小化。常见的标准是均方误差(用于回归模型)和误分类率(用于分类模型)。

  • 一种顺序搜索算法，在计算条件时从候选子集中添加或删除特征。由于穷举比较的判据值均为2n的子集n特征数据集通常是不可行的(取决于的大小n和目标调用的代价)，顺序搜索只在一个方向移动，总是增长或总是缩小候选集。

该方法有两种变体:

  • 顺序前向选择（SFS)，其中特征被依次添加到一个空的候选集，直到添加更多的特征不降低标准。

  • 顺序向后选择（SBS)，其中从完整的候选集中依次去除特征，直到去除进一步的特征增加标准。

统计和机器学习工具箱™提供了几个顺序特征选择功能:

  • 逐步回归是一种序列特征选择技术，专门为最小二乘拟合设计。的函数stepwiselm而且stepwiseglm使用只有最小二乘条件才能实现的优化。与其他顺序特征选择算法不同，逐步回归可以删除已添加的特征，或添加已删除的特征，这些都是基于“标准”名称-值对参数。

  • sequentialfs使用自定义标准执行连续的特征选择。输入参数包括预测器数据、响应数据和实现标准函数的文件的函数句柄。您可以定义一个标准函数来测量数据的特征或学习算法的性能。可选输入允许您指定SFS或SBS、必需或排除的特性以及特性子集的大小。函数调用cvpartition而且crossval对不同候选集的准则进行评价。

  • fscmrmr而且fsrmrmr采用最小冗余最大相关性(MRMR)算法分别对分类和回归问题进行排序。

选择具有比较预测能力的特征子集

打开实时脚本

本示例使用度量广义线性回归问题预测能力的自定义标准选择特征子集。

考虑一个包含10个预测因子的100个观测值的数据集。从逻辑模型生成随机数据，在预测因子的每一组值处的响应为二项分布。一些系数被设置为零，这样就不会所有的预测因子都影响响应。

rng (456)设置种子的重现性N = 100;M = 10;X = rand(n,m);B = [1 0 0 2 .5 0 0 0.1 0 1];Xb = X*b';p = 1 (1+exp(-Xb));N = 50;y = binornd(N,p);

用逻辑模型拟合数据fitglm．

Y = [Y N*ones(size(Y))];model0 = fitglm(X,Y，“分布”，“二”）
model0 =广义线性回归模型:logit(y) ~ 1 + x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9 + x10分布=二项式估计系数:估计SE tStat pValue _________ _______ ________ __________(截取)0.22474 0.30043 0.74806 0.45443 x1 0.68782 0.17207 3.9973 6.408e-05 x2 0.2003 0.18087 1.1074 0.26811 x3 -0.055328 0.18871 -0.29319 0.76937 x4 2.2576 0.1813 12.452 1.3566e-35 x5 0.54603 0.16836 3.2432 0.0011821 x6 0.069701 0.17738 0.39294 0.69437 x7 -0.19712 0.17362 0.16957 -1.3306 0.18334 x8 -0.19712 0.17317 -1.1383 0.22514 x10 0.99741 0.17247 5.7832 7.3296e-09 100个观测值，离散度:1 Chi^2统计量vs.常数模型:222,p值= 4.92 -42

显示配合的偏差。

Dev0 = model0。异常
Dev0 = 101.5648

这个模型是一个完整的模型，有所有的特征和一个初始常数项。序列特征选择在完整模型中搜索具有相对预测能力的特征子集。

在进行特征选择之前，必须指定选择特征的标准。在这种情况下，标准是拟合的偏差(残差平方和的泛化)。的critfun函数(在本例的末尾显示)调用fitglm并返回拟合的偏差。

如果在本例中使用活动脚本文件，则critfun函数已经包含在文件的末尾。否则，您需要在.m文件的末尾创建这个函数，或者将其作为一个文件添加到MATLAB路径上。

执行特征选择。sequentialfs通过函数句柄调用criterion函数。

Maxdev = chi2inv(.95,1);Opt = statset(“显示”，“通路”，.．.“TolFun”maxdev,.．.“TolTypeFun”，“abs”）;inmodel = sequentialfs(@critfun,X,Y，.．.“简历”，“没有”，.．.“nullmodel”,真的,.．.“选项”选择,.．.“方向”，“前进”）;
开始前向顺序特征选择:包含初始列:无不能包含的列:无步骤1，使用初始列，准则值323.173步骤2，增加列4，准则值184.794步骤3，增加列10，准则值139.176步骤4，增加列1，准则值119.222步骤5，增加列5，准则值107.281最终包含列:1 4 5 10

迭代显示显示，当每个新特征添加到模型中时，准则值会下降。最终的结果是一个简化的模型，只有原始十个特征中的四个:列1，4，5,10的X，如逻辑向量所示inmodel返回的sequentialfs．

简化模型的偏差大于完整模型的偏差。然而，任何其他单一特征的加入都不会使准则值降低超过绝对公差，maxdev，设置在选项结构中。添加一个没有影响的特征可以减少一个具有一个自由度的卡方分布的量的偏差。添加一个重要的特征会导致偏差的更大变化。通过设置maxdev来chi2inv (.95, 1)，你指示说sequentialfs继续添加特性，前提是偏差的变化大于随机预期的变化。

创建初始常数项的简化模型。

model = fitglm(X(:，inmodel)，Y，“分布”，“二”）
模型=广义线性回归模型:logit(y) ~ 1 + x1 + x2 + x3 + x4分布=二项式估计系数:估计SE tStat pValue __________ _______ _________ __________(截距)-0.0052025 0.16772 -0.031018 0.97525 x1 0.73814 0.16316 4.5241 6.0666e-06 x2 2.2139 0.17402 12.722 4.4369e-37 x3 0.54073 0.1568 3.4485 0.00056361 x4 1.0694 0.15916 6.7191 1.8288e-11 100个观测值，95个误差自由度离散度:1 Chi^2统计量vs常数模型:216, p-value = 1.44e-45

这段代码创建了函数critfun．

函数dev = critfun(X,Y) model = fitglm(X,Y，)“分布”，“二”）;dev = model.Deviance;结束

另请参阅

||

相关的话题