使用NCA进行回归的强大功能选择

打开直播脚本

执行使用NCA中的自定义鲁棒丢失功能对异常值具有强大的功能选择。

使用异常值生成数据

生成回归的样本数据，其中响应取决于三个预测器，即预测器4,7和13。

RNG（123，'twister'）重复性的％n = 200;x = randn（n，20）;y = cos（x（:,7））+ sin（x（:,4）。* x（：，13））+ 0.1 * randn（n，1）;

将异常值添加到数据。

Numutliers = 25;outlieridx =楼层（Linspace（10,90，NumOutliers））;Y（OutiAliDX）= 5 * Randn（NumOutliers，1）;

图数据。

图绘图（y）

图包含轴。轴包含类型线的对象。

使用非鲁棒丢失功能

特征选择算法的性能高度取决于正则化参数的值。一个好的做法是调整正则化参数以获得在特征选择中使用的最佳值。使用五倍交叉验证调整正则化参数。使用均方错误（MSE）：

$MSE = \frac{1}{N} {σ.}_{一世 = 1}^{N} {（ y_{一世} - y_{j} ）}^{2}$

首先，将数据分为五个倍数。在每个折叠中，软件使用4/5数据进行培训和验证数据的1/5（测试）。

cvp = cvpartition（长度（y），'kfold'5);numtestsets = cvp.NumTestSets;

计算leamda值以测试并创建一个数组以存储丢失值。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);损失vals = zeros（长度（lambdavals），numtestsets）;

执行NCA并计算每个的损耗 $λ.$ 价值和每个折叠。

为了i = 1:长度(lambdavals)为了Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'lbfgs'那'verbose'，0，'lambda'lambdavals(我),......'损失'那'妈妈'）;损失（i，k）=损失（nca，xtest，ytest，'损失'那'妈妈'）;结尾结尾

绘制对应于每个λ值的平均损失。

图意为=卑鄙（损失，2）;情节（Lambdavals，Meanloss，'ro-')包含('lambda') ylabel ('损失（MSE）'） 网格在

图包含轴。轴包含类型线的对象。

找出 $λ.$ 值产生最小平均损失。

[〜，IDX] = min（平均值（损失vals，2））;Bestlambda = Lambdavals（IDX）

Bestlambda = 0.0231.

使用最好的方法进行特征选择 $λ.$ 价值和MSE。

nca = fsrnca (X, y,'fitmethod'那“准确”那“规划求解”那'lbfgs'那......'verbose'，1，'lambda'，bestlambda，'损失'那'妈妈'）;

O Solver = LBFGS，HessianhistorySize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|抑制|伽玛|alpha |接受| |====================================================================================================| | 0 | 6.414642e+00 | 8.430e-01 | 0.000e+00 | | 7.117e-01 | 0.000e+00 | YES | | 1 | 6.066100e+00 | 9.952e-01 | 1.264e+00 | OK | 3.741e-01 | 1.000e+00 | YES | | 2 | 5.498221e+00 | 4.267e-01 | 4.250e-01 | OK | 4.016e-01 | 1.000e+00 | YES | | 3 | 5.108548e+00 | 3.933e-01 | 8.564e-01 | OK | 3.599e-01 | 1.000e+00 | YES | | 4 | 4.808456e+00 | 2.505e-01 | 9.352e-01 | OK | 8.798e-01 | 1.000e+00 | YES | | 5 | 4.677382e+00 | 2.085e-01 | 6.014e-01 | OK | 1.052e+00 | 1.000e+00 | YES | | 6 | 4.487789e+00 | 4.726e-01 | 7.374e-01 | OK | 5.593e-01 | 1.000e+00 | YES | | 7 | 4.310099e+00 | 2.484e-01 | 4.253e-01 | OK | 3.367e-01 | 1.000e+00 | YES | | 8 | 4.258539e+00 | 3.629e-01 | 4.521e-01 | OK | 4.705e-01 | 5.000e-01 | YES | | 9 | 4.175345e+00 | 1.972e-01 | 2.608e-01 | OK | 4.018e-01 | 1.000e+00 | YES | | 10 | 4.122340e+00 | 9.169e-02 | 2.947e-01 | OK | 3.487e-01 | 1.000e+00 | YES | | 11 | 4.095525e+00 | 9.798e-02 | 2.529e-01 | OK | 1.188e+00 | 1.000e+00 | YES | | 12 | 4.059690e+00 | 1.584e-01 | 5.213e-01 | OK | 9.930e-01 | 1.000e+00 | YES | | 13 | 4.029208e+00 | 7.411e-02 | 2.076e-01 | OK | 4.886e-01 | 1.000e+00 | YES | | 14 | 4.016358e+00 | 1.068e-01 | 2.696e-01 | OK | 6.919e-01 | 1.000e+00 | YES | | 15 | 4.004521e+00 | 5.434e-02 | 1.136e-01 | OK | 5.647e-01 | 1.000e+00 | YES | | 16 | 3.986929e+00 | 6.158e-02 | 2.993e-01 | OK | 1.353e+00 | 1.000e+00 | YES | | 17 | 3.976342e+00 | 4.966e-02 | 2.213e-01 | OK | 7.668e-01 | 1.000e+00 | YES | | 18 | 3.966646e+00 | 5.458e-02 | 2.529e-01 | OK | 1.988e+00 | 1.000e+00 | YES | | 19 | 3.959586e+00 | 1.046e-01 | 4.169e-01 | OK | 1.858e+00 | 1.000e+00 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 20 | 3.953759e+00 | 8.248e-02 | 2.892e-01 | OK | 1.040e+00 | 1.000e+00 | YES | | 21 | 3.945475e+00 | 3.119e-02 | 1.698e-01 | OK | 1.095e+00 | 1.000e+00 | YES | | 22 | 3.941567e+00 | 2.350e-02 | 1.293e-01 | OK | 1.117e+00 | 1.000e+00 | YES | | 23 | 3.939468e+00 | 1.296e-02 | 1.805e-01 | OK | 2.287e+00 | 1.000e+00 | YES | | 24 | 3.938662e+00 | 8.591e-03 | 5.955e-02 | OK | 1.553e+00 | 1.000e+00 | YES | | 25 | 3.938239e+00 | 6.421e-03 | 5.334e-02 | OK | 1.102e+00 | 1.000e+00 | YES | | 26 | 3.938013e+00 | 5.449e-03 | 6.773e-02 | OK | 2.085e+00 | 1.000e+00 | YES | | 27 | 3.937896e+00 | 6.226e-03 | 3.368e-02 | OK | 7.541e-01 | 1.000e+00 | YES | | 28 | 3.937820e+00 | 2.497e-03 | 2.397e-02 | OK | 7.940e-01 | 1.000e+00 | YES | | 29 | 3.937791e+00 | 2.004e-03 | 1.339e-02 | OK | 1.863e+00 | 1.000e+00 | YES | | 30 | 3.937784e+00 | 2.448e-03 | 1.265e-02 | OK | 9.667e-01 | 1.000e+00 | YES | | 31 | 3.937778e+00 | 6.973e-04 | 2.906e-03 | OK | 4.672e-01 | 1.000e+00 | YES | | 32 | 3.937778e+00 | 3.038e-04 | 9.502e-04 | OK | 1.060e+00 | 1.000e+00 | YES | | 33 | 3.937777e+00 | 2.327e-04 | 1.069e-03 | OK | 1.597e+00 | 1.000e+00 | YES | | 34 | 3.937777e+00 | 1.959e-04 | 1.537e-03 | OK | 4.026e+00 | 1.000e+00 | YES | | 35 | 3.937777e+00 | 1.162e-04 | 1.464e-03 | OK | 3.418e+00 | 1.000e+00 | YES | | 36 | 3.937777e+00 | 8.353e-05 | 3.660e-04 | OK | 7.304e-01 | 5.000e-01 | YES | | 37 | 3.937777e+00 | 1.412e-05 | 1.412e-04 | OK | 7.842e-01 | 1.000e+00 | YES | | 38 | 3.937777e+00 | 1.277e-05 | 3.808e-05 | OK | 1.021e+00 | 1.000e+00 | YES | | 39 | 3.937777e+00 | 8.614e-06 | 3.698e-05 | OK | 2.561e+00 | 1.000e+00 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 40 | 3.937777e+00 | 3.159e-06 | 5.299e-05 | OK | 4.331e+00 | 1.000e+00 | YES | | 41 | 3.937777e+00 | 2.657e-06 | 1.080e-05 | OK | 7.038e-01 | 5.000e-01 | YES | | 42 | 3.937777e+00 | 7.054e-07 | 7.036e-06 | OK | 9.519e-01 | 1.000e+00 | YES | Infinity norm of the final gradient = 7.054e-07 Two norm of the final step = 7.036e-06, TolX = 1.000e-06 Relative infinity norm of the final gradient = 7.054e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘图所选的功能。

图绘图（nca.featureweights，'ro'） 网格在Xlabel（'特征索引') ylabel (“功能重量”）

图包含轴。轴包含类型线的对象。

使用该预测响应值NCA.模型并绘制拟合（预测的）响应值和实际响应值。

Figts fited =预测（NCA，x）;绘图（Y，'r。'） 抓住在情节（安装，“b -”)包含('指数') ylabel ('适合价值'）

图包含轴。轴包含2个类型的型号。

FSRNCA试图适合包括异常值的数据中的每一点。结果，除了预测器4,7和13，它将非零权重分配给许多特征。

使用内置鲁棒丢失功能

重复同一过程调整正则化参数，这次使用内置 $ϵ$ - 敏感损耗功能：

$L. （ y_{一世} 那 y_{j} ） = 最大限度（ 0. 那 | y_{一世} - y_{j} | - ϵ ）$

$ϵ$ - 异位损耗函数对异常值更加强大而不是平均平均误差。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);cvp = cvpartition（长度（y），'kfold'5);numtestsets = cvp.NumTestSets;损失vals = zeros（长度（lambdavals），numtestsets）;为了i = 1:长度(lambdavals)为了Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'SGD'那'verbose'，0，'lambda'lambdavals(我),......'损失'那'epsilonInsensitive'那'epsilon', 0.8);损失（i，k）=损失（nca，xtest，ytest，'损失'那'妈妈'）;结尾结尾

这 $ϵ$ 使用的值取决于数据，并且可以使用交叉验证确定最佳值。但选择这一点 $ϵ$ 值超出此示例的范围。选择 $ϵ$ 在该示例中主要用于说明方法的鲁棒性。

绘制对应于每个λ值的平均损失。

图意为=卑鄙（损失，2）;情节（Lambdavals，Meanloss，'ro-')包含('lambda') ylabel ('损失（MSE）'） 网格在

图包含轴。轴包含类型线的对象。

找到产生最小平均损耗的Lambda值。

[〜，IDX] = min（平均值（损失vals，2））;Bestlambda = Lambdavals（IDX）

Bestlambda = 0.0187.

适合邻域分量分析模型使用 $ϵ$ - 敏感损失函数和最佳Lambda值。

nca = fsrnca (X, y,'fitmethod'那“准确”那“规划求解”那'SGD'那......'lambda'，bestlambda，'损失'那'epsilonInsensitive'那'epsilon', 0.8);

绘图所选的功能。

图绘图（nca.featureweights，'ro'） 网格在Xlabel（'特征索引') ylabel (“功能重量”）

图包含轴。轴包含类型线的对象。

绘制拟合值。

Figts fited =预测（NCA，x）;绘图（Y，'r。'） 抓住在情节（安装，“b -”)包含('指数') ylabel ('适合价值'）

图包含轴。轴包含2个类型的型号。

$ϵ$ - 敏感损失对异常值似乎更加强大。它识别比MSE更少的特征与相关一样。适合表明它仍然受到一些异常值的影响。

使用定制鲁棒丢失功能

定义自定义强大的损耗函数，对回归中的特征选择使用的异常值是强大的：

$F （ y_{一世} 那 y_{j} ） = 1 - exp. （ - | y_{一世} - y_{j} | ）$

customlossfcn = @（yi，yj）1  -  exp（-abs（yi-yj'））;

使用自定义定义的鲁棒丢失函数调整正则化参数。

lambdavals = linspace(50 0 3) *性病(y) /长度(y);cvp = cvpartition（长度（y），'kfold'5);numtestsets = cvp.NumTestSets;损失vals = zeros（长度（lambdavals），numtestsets）;为了i = 1:长度(lambdavals)为了Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'lbfgs'那'verbose'，0，'lambda'lambdavals(我),......'损失'，customlossfcn）;损失（i，k）=损失（nca，xtest，ytest，'损失'那'妈妈'）;结尾结尾

绘制对应于每个λ值的平均损失。

图意为=卑鄙（损失，2）;情节（Lambdavals，Meanloss，'ro-')包含('lambda') ylabel ('损失（MSE）'） 网格在

图包含轴。轴包含类型线的对象。

找出 $λ.$ 值产生最小平均损失。

[〜，IDX] = min（平均值（损失vals，2））;Bestlambda = Lambdavals（IDX）

Bestlambda = 0.0165.

使用自定义鲁棒丢失功能执行功能选择和最佳 $λ.$ 价值。

nca = fsrnca (X, y,'fitmethod'那“准确”那“规划求解”那'lbfgs'那......'verbose'，1，'lambda'，bestlambda，'损失'，customlossfcn）;

O Solver = LBFGS，HessianhistorySize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|抑制|伽玛|alpha |接受| |====================================================================================================| | 0 | 8.610073e-01 | 4.921e-02 | 0.000e+00 | | 1.219e+01 | 0.000e+00 | YES | | 1 | 6.582278e-01 | 2.328e-02 | 1.820e+00 | OK | 2.177e+01 | 1.000e+00 | YES | | 2 | 5.706490e-01 | 2.241e-02 | 2.360e+00 | OK | 2.541e+01 | 1.000e+00 | YES | | 3 | 5.677090e-01 | 2.666e-02 | 7.583e-01 | OK | 1.092e+01 | 1.000e+00 | YES | | 4 | 5.620806e-01 | 5.524e-03 | 3.335e-01 | OK | 9.973e+00 | 1.000e+00 | YES | | 5 | 5.616054e-01 | 1.428e-03 | 1.025e-01 | OK | 1.736e+01 | 1.000e+00 | YES | | 6 | 5.614779e-01 | 4.446e-04 | 8.350e-02 | OK | 2.507e+01 | 1.000e+00 | YES | | 7 | 5.614653e-01 | 4.118e-04 | 2.466e-02 | OK | 2.105e+01 | 1.000e+00 | YES | | 8 | 5.614620e-01 | 1.307e-04 | 1.373e-02 | OK | 2.002e+01 | 1.000e+00 | YES | | 9 | 5.614615e-01 | 9.318e-05 | 4.128e-03 | OK | 3.683e+01 | 1.000e+00 | YES | | 10 | 5.614611e-01 | 4.579e-05 | 8.785e-03 | OK | 6.170e+01 | 1.000e+00 | YES | | 11 | 5.614610e-01 | 1.232e-05 | 1.582e-03 | OK | 2.000e+01 | 5.000e-01 | YES | | 12 | 5.614610e-01 | 3.174e-06 | 4.742e-04 | OK | 2.510e+01 | 1.000e+00 | YES | | 13 | 5.614610e-01 | 7.896e-07 | 1.683e-04 | OK | 2.959e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 7.896e-07 Two norm of the final step = 1.683e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 7.896e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘图所选的功能。

图绘图（nca.featureweights，'ro'） 网格在Xlabel（'特征索引') ylabel (“功能重量”）

图包含轴。轴包含类型线的对象。

绘制拟合值。

Figts fited =预测（NCA，x）;绘图（Y，'r。'） 抓住在情节（安装，“b -”)包含('指数') ylabel ('适合价值'）

图包含轴。轴包含2个类型的型号。

在这种情况下，损失不受异常值的影响，结果基于大多数观察值。FSRNCA检测预测因子4、7和13作为相关特征，不选择任何其他特征。

为什么损失函数选择会影响结果？

首先，计算两个观察结果之间的一系列值的损耗函数。

deltay = linspace（-10,10,1000）';

计算自定义丢失函数值。

customlossvals = customlossfcn（deltay，0）;

计算epsilon不敏感损耗函数和值。

Epsinsensitive = @（yi，yj，e）max（0，abs（yi-yj'） -  e）;EPSINSENVALS = EMSINSENSIVE（DELTAY，0,0.5）;

计算MSE损失函数和值。

MSE = @（yi，yj）（yi-yj'）。^ 2;Msevals = MSE（Deltay，0）;

现在，绘制损失函数，以查看它们的差异以及它们为什么以他们的方式影响结果。

图绘图（Deltay，CustomLossvals，'G-'，Deltay，Epsinenvals，“b -”，Deltay，Msevals，'r-')包含('（yi  -  yj）') ylabel ('损失（yi，yj）'） 传奇（'customloss'那'epsilonInsensitive'那'妈妈'ylim（[020]）

图包含轴。轴包含3个类型的线。这些对象代表CustomLoss，epsilonInsensitive，MSE。

由于两个响应值之间的差异增加，MSE直角增加，这使其对异常值非常敏感。作为FSRNCA尝试最大限度地减少这种损失，它最终确定了与相关的更多功能。epsilon不敏感的损失比MSE更耐耐异常值，但最终它确实开始线性增加，因为两个观察结果之间的差异增加。由于两个观察结果之间的差异，鲁棒损失函数确实接近1并保持该值，即使观察之间的差异不断增加。三分之一来，它是对异常值最强大的。

也可以看看

PeazereSentionncarebortion|FSRNCA|损失|预测|改装

使用NCA进行回归的强大功能选择

使用异常值生成数据

使用非鲁棒丢失功能

使用内置鲁棒丢失功能

使用定制鲁棒丢失功能

为什么损失函数选择会影响结果？

也可以看看

相关的话题

统计和机器学习工具箱文档

金宝app

掌握机器学习：使用MATLAB逐步指南