fsrnca

特征选择使用邻域成分分析回归

折叠所有页面

语法

mdl = fsrnca (X, Y)

mdl = fsrnca (X, Y,名称,值)

描述

例子

mdl= fsrnca (X，Y）使用预测器执行回归的功能选择X和反应Y．

fsrnca通过正则化邻域分量分析(NCA)对角自适应来学习特征权值。

例子

mdl= fsrnca (X，Y，名称,值）对回归执行功能选择，具有由一个或多个名称 - 值对参数指定的其他选项。

例子

全部折叠

利用NCA进行回归，检测数据中的相关特征

打开生活的脚本

生成玩具数据，其中响应变量依赖于第3、第9和第15个预测因子。

rng (0,“旋风”）；%的再现性n = 100;x = rand（n，20）;y = 1 + x（:,3）* 5 + sin（x（:,9）./ x（：，15）+ 0.25 * randn（n，1））;

拟合邻域成分分析模型进行回归。

mdl = fsrnca（x，y，“详细”,1，“λ”, 0.5 / N);

O Solver = LBFGS，HessianhistorySize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|抑制|伽玛|alpha |接受| |====================================================================================================| | 0 | 1.636932e+00 | 3.688e-01 | 0.000e+00 | | 1.627e+00 | 0.000e+00 | YES | | 1 | 8.304833e-01 | 1.083e-01 | 2.449e+00 | OK | 9.194e+00 | 4.000e+00 | YES | | 2 | 7.548105e-01 | 1.341e-02 | 1.164e+00 | OK | 1.095e+01 | 1.000e+00 | YES | | 3 | 7.346997e-01 | 9.752e-03 | 6.383e-01 | OK | 2.979e+01 | 1.000e+00 | YES | | 4 | 7.053407e-01 | 1.605e-02 | 1.712e+00 | OK | 5.809e+01 | 1.000e+00 | YES | | 5 | 6.970502e-01 | 9.106e-03 | 8.818e-01 | OK | 6.223e+01 | 1.000e+00 | YES | | 6 | 6.952347e-01 | 5.522e-03 | 6.382e-01 | OK | 3.280e+01 | 1.000e+00 | YES | | 7 | 6.946302e-01 | 9.102e-04 | 1.952e-01 | OK | 3.380e+01 | 1.000e+00 | YES | | 8 | 6.945037e-01 | 6.557e-04 | 9.942e-02 | OK | 8.490e+01 | 1.000e+00 | YES | | 9 | 6.943908e-01 | 1.997e-04 | 1.756e-01 | OK | 1.124e+02 | 1.000e+00 | YES | | 10 | 6.943785e-01 | 3.478e-04 | 7.755e-02 | OK | 7.621e+01 | 1.000e+00 | YES | | 11 | 6.943728e-01 | 1.428e-04 | 3.416e-02 | OK | 3.649e+01 | 1.000e+00 | YES | | 12 | 6.943711e-01 | 1.128e-04 | 1.231e-02 | OK | 6.092e+01 | 1.000e+00 | YES | | 13 | 6.943688e-01 | 1.066e-04 | 2.326e-02 | OK | 9.319e+01 | 1.000e+00 | YES | | 14 | 6.943655e-01 | 9.324e-05 | 4.399e-02 | OK | 1.810e+02 | 1.000e+00 | YES | | 15 | 6.943603e-01 | 1.206e-04 | 8.823e-02 | OK | 4.609e+02 | 1.000e+00 | YES | | 16 | 6.943582e-01 | 1.701e-04 | 6.669e-02 | OK | 8.425e+01 | 5.000e-01 | YES | | 17 | 6.943552e-01 | 5.160e-05 | 6.473e-02 | OK | 8.832e+01 | 1.000e+00 | YES | | 18 | 6.943546e-01 | 2.477e-05 | 1.215e-02 | OK | 7.925e+01 | 1.000e+00 | YES | | 19 | 6.943546e-01 | 1.077e-05 | 6.086e-03 | OK | 1.378e+02 | 1.000e+00 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 20 | 6.943545e-01 | 2.260e-05 | 4.071e-03 | OK | 5.856e+01 | 1.000e+00 | YES | | 21 | 6.943545e-01 | 4.250e-06 | 1.109e-03 | OK | 2.964e+01 | 1.000e+00 | YES | | 22 | 6.943545e-01 | 1.916e-06 | 8.356e-04 | OK | 8.649e+01 | 1.000e+00 | YES | | 23 | 6.943545e-01 | 1.083e-06 | 5.270e-04 | OK | 1.168e+02 | 1.000e+00 | YES | | 24 | 6.943545e-01 | 1.791e-06 | 2.673e-04 | OK | 4.016e+01 | 1.000e+00 | YES | | 25 | 6.943545e-01 | 2.596e-07 | 1.111e-04 | OK | 3.154e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 2.596e-07 Two norm of the final step = 1.111e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 2.596e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘制选定的特征。不相关特征的权值应该接近于零。

图()图(mdl。FeatureWeights,“罗”网格)在包含('特征索引') ylabel ('特征重量'）

图中包含一个轴对象。axis对象包含一个类型为line的对象。

fsrnca正确检测此响应的相关预测器。

调整正则化参数的NCA回归

打开生活的脚本

加载示例数据。

负载robotarm.mat

的robotarm（PUMADYN32NM）使用具有7168个培训观测的机器人ARM模拟器和具有32个特征的1024个测试观察创建数据集[1] [2]。这是原始数据集的预处理版本。通过减去线性回归拟合来预处理数据，然后对单位方差进行归一化。

使用默认值进行邻域成分分析(NCA)特征选择 $λ.$ (正则化参数)的价值。

nca = fsrnca (Xtrain ytrain,“FitMethod”，“准确”，......“规划求解”，“lbfgs”）；

绘制选定的值。

图(nca阴谋。FeatureWeights,“罗”)包含('特征索引') ylabel ('特征重量'网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

超过一半的特征权值是非零的。通过使用选定的特性，使用测试集作为性能度量来计算损失。

L =损耗（NCA，XTEST，YEST）

L = 0.0837

试着提高你的表现。调整正则化参数 $λ.$ 使用五倍交叉验证进行特征选择。调优 $λ.$ 意味着找到 $λ.$ 产生最小回归损失的值。调优 $λ.$ 使用交叉验证:

1.将数据分成5个部分。对于每一个褶皱,cvpartition将数据作为培训集分配4/5，以及作为测试集的数据1/5。

RNG（1）%的再现性n =长度(ytrain);本量利= cvpartition(长度(ytrain),“kfold”5);numvalidsets = cvp.NumTestSets;

分配 $λ.$ 值的搜索。将响应值乘以一个常数使损失函数项增加常数的一个因子。因此,包括性病(ytrain)因素 $λ.$ 值平衡默认的损失功能(“疯了”，平均绝对偏差）术语和目标函数中的正则化术语。在这个例子中，性病(ytrain)Factor是1，因为加载的样本数据是原始数据集的预处理版本。

lambdavals = linspace(0, 50岁,20)*性病(ytrain) / n;

创建一个数组来存储损失值。

lossvals = 0(长度(lambdavals), numvalidsets);

2.训练每个人的NCA模型 $λ.$ 值，使用每个折叠中的训练集。

3.使用NCA模型计算折叠中相应测试集的回归损失。记录损失值。

4.对每一个重复此步骤 $λ.$ 价值和每个折叠。

为i = 1:长度(lambdavals)为k = 1:numvalidsets X = Xtrain(cvp.training(k)，:);y = ytrain (cvp.training (k):);Xvalid = Xtrain (cvp.test (k):);yvalid = ytrain (cvp.test (k):);nca = fsrnca (X, y,“FitMethod”，“准确”，......“规划求解”，“minibatch-lbfgs”，“λ”lambdavals(我),......'gradienttolerance'1的军医,“IterationLimit”, 30);lossvals (i (k) =损失(nca, Xvalid yvalid,“LossFunction”，mse的）；结束结束

计算从每个折叠中获得的平均损失 $λ.$ 价值。

meanloss =意味着(lossvals, 2);

画出平均损失和 $λ.$ 价值观。

图绘制(lambdavals meanloss,“ro - - - - - -”)包含(“λ”) ylabel (“损失(MSE)”网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

找到 $λ.$ 给出最小损失值的值。

[~, idx] = min (meanloss)

idx = 17

bestlambda = lambdavals (idx)

bestlambda = 0.0059

bestloss = meanloss（idx）

bestloss = 0.0590

拟合NCA特征选择模型进行回归使用最佳 $λ.$ 价值。

nca = fsrnca (Xtrain ytrain,“FitMethod”，“准确”，......“规划求解”，“lbfgs”，“λ”，Bestlambda）;

绘制选定的特征。

图(nca阴谋。FeatureWeights,“罗”)包含(“功能指数”) ylabel (“功能重量”网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

大多数特征权重为零。fsrnca确定四个最相关的特征。

计算测试集的损失。

L =损耗（NCA，XTEST，YEST）

L = 0.0571

调整正则化参数， $λ.$ ，消除了更多不相关的特性，提高了性能。

比较NCA和ARD特征选择

打开生活的脚本

本例使用了鲍鱼数据［3］［4］来自UCI机器学习知识库［5］．

下载数据并将其保存在当前文件夹中的名称“abalone.csv”．

url ='https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data'；websave (“abalone.csv”url);

将数据读入表中。显示前7行。

台= readtable (“abalone.csv”，'文件类型'，“文本”，“ReadVariableNames”、假);tbl.Properties.VariableNames = {“性”，“长度”，“直径”，'高度'，......“WWeight”，“SWeight”，“VWeight”，“ShWeight”，“NoShellRings”};台(1:7,:)

ans =7×9表性长度直径高度WWeight SWeight VWeight ShWeight NoShellRings  _____ ______ ________ ______ _______ _______ _______ ________ ____________ {' M} 0.455 0.365 0.095 0.514 0.2245 0.101 0.15 15{“M”}0.35 0.265 0.09 0.2255 0.0995 0.0485 0.07 7 {' F '} 0.53 0.42 0.135 0.677 0.2565 0.1415 0.21 9{“M”}0.44 0.365 0.125 0.516 0.2155 0.114 0.155十{' i '} 0.33 0.255 0.08 0.205 0.0895 0.0395 0.055 7 {' i '} 0.425 0.3 0.095 0.3515 0.141 0.0775 0.12 8 {' f '} 0.53 0.415 0.15 0.7775 0.237 0.1415 0.33 20

数据集有4177个观测数据。目的是通过八项物理测量来预测鲍鱼的年龄。最后一个变量，壳环的数目，显示了鲍鱼的年龄。第一个预测因子是一个分类变量。表中的最后一个变量是响应变量。

准备预测器和响应变量fsrnca．最后一栏TBL.包含壳环的数量，这是响应变量。第一个预测变量，性别，是绝对的。您必须创建虚拟变量。

y = table2array(资源描述(:,结束));X (:, 1:3) = dummyvar(分类(tbl.Sex));X = [X, table2array(资源描述(:,2:end-1)));

使用四倍交叉验证来调整NCA模型中的正则化参数。首先将数据分成4个部分。

RNG（'默认'）%的再现性n =长度(y);本量利= cvpartition (n,“kfold”4);numtestsets = cvp.NumTestSets;

cvpartition将数据分成四个分区(折叠)。在每个折叠中，大约四分之三的数据被分配为训练集，四分之一被分配为测试集。

产生各种各样 $λ.$ (正则化参数)的值来拟合模型，以确定最优 $λ.$ 价值。创建一个向量来收集每个适合的损失值。

lambdavals = linspace(0、25、20)*性病(y) / n;lossvals = 0(长度(lambdavals), numtestsets);

的行失去者对应于 $λ.$ 值和列对应于折叠。

拟合NCA模型进行回归使用fsrnca从每个折叠中提取数据 $λ.$ 价值。使用每个折叠的测试数据计算每个模型的损失。

为i = 1:长度(lambdavals)为k = 1：numtestsets xtrain = x（cvp.training（k），:);YTrain = Y（CVP.TRINATION（k），:);xtest = x（cvp.test（k），:);ytest = y（cvp.test（k），:);nca = fsrnca (Xtrain ytrain,“FitMethod”，“准确”，......“规划求解”，“lbfgs”，“λ”lambdavals(我),“标准化”,真正的);lossvals (i (k) =损失(nca, Xtest,欧美,“LossFunction”，mse的）；结束结束

计算折痕的平均损失，也就是计算第2维的平均值失去者．

meanloss =意味着(lossvals, 2);

画出 $λ.$ 值与四倍的平均损失。

图绘制(lambdavals meanloss,“ro - - - - - -”)包含(“λ”) ylabel (“损失(MSE)”网格)在

找到 $λ.$ 使平均损失最小化的值。

[〜，Idx] = min（meanloss）;bestlambda = lambdavals (idx)

Bestlambda = 0.0071.

计算最佳损失值。

bestloss = meanloss（idx）

bestloss = 4.7799

将NCA模型最好地贴合到所有数据上 $λ.$ 价值。

nca = fsrnca (X, y,“FitMethod”，“准确”，“规划求解”，“lbfgs”，......“详细”,1，“λ”bestlambda,“标准化”,真正的);

O Solver = LBFGS，HessianhistorySize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|抑制|伽玛|alpha |接受| |====================================================================================================| | 0 | 2.469168e+00 | 1.266e-01 | 0.000e+00 | | 4.741e+00 | 0.000e+00 | YES | | 1 | 2.375166e+00 | 8.265e-02 | 7.268e-01 | OK | 1.054e+01 | 1.000e+00 | YES | | 2 | 2.293528e+00 | 2.067e-02 | 2.034e+00 | OK | 1.569e+01 | 1.000e+00 | YES | | 3 | 2.286703e+00 | 1.031e-02 | 3.158e-01 | OK | 2.213e+01 | 1.000e+00 | YES | | 4 | 2.279928e+00 | 2.023e-02 | 9.374e-01 | OK | 1.953e+01 | 1.000e+00 | YES | | 5 | 2.276258e+00 | 6.884e-03 | 2.497e-01 | OK | 1.439e+01 | 1.000e+00 | YES | | 6 | 2.274358e+00 | 1.792e-03 | 4.010e-01 | OK | 3.109e+01 | 1.000e+00 | YES | | 7 | 2.274105e+00 | 2.412e-03 | 2.399e-01 | OK | 3.557e+01 | 1.000e+00 | YES | | 8 | 2.274073e+00 | 1.459e-03 | 7.684e-02 | OK | 1.356e+01 | 1.000e+00 | YES | | 9 | 2.274050e+00 | 3.733e-04 | 3.797e-02 | OK | 1.725e+01 | 1.000e+00 | YES | | 10 | 2.274043e+00 | 2.750e-04 | 1.379e-02 | OK | 2.445e+01 | 1.000e+00 | YES | | 11 | 2.274027e+00 | 2.682e-04 | 5.701e-02 | OK | 7.386e+01 | 1.000e+00 | YES | | 12 | 2.274020e+00 | 1.712e-04 | 4.107e-02 | OK | 9.461e+01 | 1.000e+00 | YES | | 13 | 2.274014e+00 | 2.633e-04 | 6.720e-02 | OK | 7.469e+01 | 1.000e+00 | YES | | 14 | 2.274012e+00 | 9.818e-05 | 2.263e-02 | OK | 3.275e+01 | 1.000e+00 | YES | | 15 | 2.274012e+00 | 4.220e-05 | 6.188e-03 | OK | 2.799e+01 | 1.000e+00 | YES | | 16 | 2.274012e+00 | 2.859e-05 | 4.979e-03 | OK | 6.628e+01 | 1.000e+00 | YES | | 17 | 2.274011e+00 | 1.582e-05 | 6.767e-03 | OK | 1.439e+02 | 1.000e+00 | YES | | 18 | 2.274011e+00 | 7.623e-06 | 4.311e-03 | OK | 1.211e+02 | 1.000e+00 | YES | | 19 | 2.274011e+00 | 3.038e-06 | 2.528e-04 | OK | 1.798e+01 | 5.000e-01 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 20 | 2.274011e+00 | 6.710e-07 | 2.325e-04 | OK | 2.721e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 6.710e-07 Two norm of the final step = 2.325e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 6.710e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘制选定的特征。

图(nca阴谋。FeatureWeights,“罗”)包含(“功能指数”) ylabel (“功能重量”网格)在

不相关的特征权值为零。根据这个图，特征1、3和9没有被选中。

采用回归子子集法进行参数估计，完全独立条件法进行预测，拟合高斯过程回归(GPR)模型。使用ARD平方指数核函数，它为每个预测者分配一个单独的权重。规范预测。

gprMdl = fitrgp(资源描述,“NoShellRings”，“KernelFunction”，“ardsquaredexponential”，......“FitMethod”，“老”，“PredictMethod”，'fic'，“标准化”,真正的)

gprMdl = RegressionGP PredictorNames: {'Sex' ' ' 'Length' ' 'Diameter' 'Height' 'WWeight' ' ' weight ' 'VWeight' 'ShWeight'} ResponseName: 'NoShellRings' CategoricalPredictors: 1 ResponseTransform: 'none' NumObservations: 4177 KernelFunction: ' ardsquared指数' KernelInformation: [1×1 struct] BasisFunction: 'Constant' Beta: 11.4959 Sigma:2.0282 PredictorLocation: [10×1 double] PredictorScale: [10×1 double] Alpha: [1000×1 double] ActiveSetVectors: [1000×10 double] PredictMethod: 'FIC' ActiveSetSize: 1000 FitMethod: 'SR' ActiveSetMethod: 'Random' IsActiveSetVector: [4177×1 logical] LogLikelihood: -9.0019e+03 ActiveSetHistory: [1×1 struct] BCDInformation:[]属性，方法

计算训练数据上的回归损失(再替换损失)。

L = resubLoss (gprMdl)

L = 4.0306

最小的交叉验证损耗使用fsrnca与使用具有ARD核的GPR模型获得的丢失相当。

输入参数

全部折叠

`X`- - - - - -预测变量值
n——- - - - - -p矩阵

预测变量值，指定为n——- - - - - -p矩阵，其中n观察的次数是多少p为预测变量的数量。

数据类型:单身的|双

`Y`- - - - - -响应值
数值实长度向量n

响应值，指定为长度的数字实向量n,在那里n为观察次数。

数据类型:单身的|双

名称-值参数

指定可选的逗号分隔的对名称,值参数。姓名参数名和价值为对应值。姓名必须出现在引号内。可以以任意顺序指定多个名称和值对参数name1，value1，...，namen，valuen．

例子:“规划求解”,“sgd”、“重量”,0.0003 W,“λ”指定求解器为随机梯度下降，观测权值为向量中的值W，并将正则化参数设置为0.0003。

合适的选项

全部折叠

`Fitmethod.`- - - - - -模型拟合方法
`“准确”`（默认）|`“没有”`|`“平均”`

拟合模型的方法，指定为逗号分隔对组成“FitMethod”以及以下其中之一:

“准确”-使用所有数据进行拟合。
“没有”——不合适。使用这个选项，使用调用fsrnca时提供的初始特征权值来评估NCA模型的泛化误差。
“平均”—将数据划分为多个分区(子集)，使用确切的方法，并返回特征权重的平均值。属性指定分区的数目NumPartitions名称-值对的论点。

例子:'fitmethod'，'没有'

`NumPartitions`- - - - - -分区数量
`马克斯(2分钟(10,n）)`（默认）|2和之间的整数n

用于分割数据的分区数目'fitmethod'，'平均'选项，指定为逗号分隔的对，由“NumPartitions”和2到之间的整数值n,在那里n为观察次数。

例子:'numpartitions'，15

数据类型:双|单身的

`λ`- - - - - -正则化参数
1／n（默认）|负的标量

正则化参数以防止过度装备，指定为逗号分隔对组成“λ”和一个非负标量。

作为观察的次数n增加，过拟合的机会减少，所需的正则化量也减少。看到调整正则化参数的NCA回归学习如何调优正则化参数。

例子:“λ”,0.002

数据类型:双|单身的

`LengthScale`- - - - - -内核的宽度
`1`（默认）|积极的真正的标量

内核的宽度，指定为逗号分隔对'lifferscale'一个正的实标量。

当所有预测器处于相同的规模时，长度比例值1是明智的。如果是预测因素X是非常不同的大小，然后考虑标准化的预测值使用“标准化”,真的和设置“LengthScale”,1．

例子:“LengthScale”,1.5

数据类型:双|单身的

`InitialFeatureWeights`- - - - - -初始特征权重
`的(p, 1)`（默认）|p实正量的- × 1向量

初始特征权重，指定为逗号分隔对，由“InitialFeatureWeights”和一个p实正量的- × 1向量p是培训数据中的预测器数量。

优化特征权重的正则化目标函数是非凸的。因此，使用不同的初始特征权重可以得到不同的结果。将所有初始功能权重设置为1通常很有效，但在某些情况下，随机初始化使用兰特(p, 1)可以提供更好质量的解决方案。金宝搏官方网站

数据类型:双|单身的

`权重`- - - - - -观察权重
n1s的-乘1向量（默认）|n实正量的- × 1向量

观察权重，指定为逗号分隔的配对组成“ObservationWeights”和一个n实正量的- × 1向量。使用观测权值来指定某些观测值比其他观测值更重要。默认权重对所有的观测值都赋予同等的重要性。

数据类型:双|单身的

`标准化`- - - - - -标准化预测器数据的指标
`假`（默认）|`真正的`

用于标准化预测器数据的指标，指定为逗号分隔对，由“标准化”,要么假或真正的．有关更多信息，请参见标准化的影响．

例子:“标准化”,真的

数据类型:逻辑

`详细的`- - - - - -冗长级别指标
0（默认）|1|＞1

用于显示收敛摘要的详细程度指示器，指定为逗号分隔对组成“详细”以及以下其中之一:

0 -没有收敛总结
1 -收敛总结，包括梯度范数和目标函数值
> 1 -更多的收敛信息，取决于拟合算法
当使用“minibatch-lbfgs”求解器和详细级> 1，收敛信息包括迭代从中间小批LBFGS拟合的日志。

例子:“详细”,1

数据类型:双|单身的

`求解器`- - - - - -解算器类型
`“lbfgs”`|`“sgd”`|`“minibatch-lbfgs”`

用于估计特征权重的求解器类型，指定为由逗号分隔的对组成“规划求解”以及以下其中之一:

“lbfgs”-有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)算法
“sgd”-随机梯度下降(SGD)算法
“minibatch-lbfgs”-随机梯度下降与LBFGS算法应用于小批量

默认是“lbfgs”为n≤1000,“sgd”为n> 1000。

例子:'求解'，'minibatch-lbfgs'

`LossFunction`- - - - - -损失函数
`“疯了”`（默认）|`mse的`|`“epsiloninsensitive”`|函数处理

损失函数，指定为逗号分隔对组成“LossFunction”以及以下其中之一:

“疯了”-平均绝对偏差

$l （ y_{我} ， y_{j} ）＝ | y_{我} - y_{j} | ．$
mse的-均方误差

$l （ y_{我} ， y_{j} ）＝ {（ y_{我} - y_{j} ）}^{2} ．$
“epsiloninsensitive”- ε不敏感损耗函数

$l （ y_{我} ， y_{j} ）＝马克斯（ 0 ， | y_{我} - y_{j} | - ε. ）．$

该损失函数对异常值更加强大而不是平均平方误差或平均绝对偏差。
＠lossfun- 自定义丢失功能手柄。损失函数具有此表格。
```
函数L = lossfun (Yu青年志愿)损失计算%......
```
余是一个u1向量和青年志愿是一个v1的向量。l是一个u——- - - - - -v损失值矩阵L (i, j)损失值是多少Yu(我)和yv（j）．

最小化的目标函数包括损失函数l（y_我，y_j）如下：

$f （ w ）＝ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} l （ y_{我} ， y_{j} ） + λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ，$

在哪里w为特征权值向量，n是观察的次数，和p为预测变量的数量。p_ij是x_j参考点是什么x_我．有关详细信息,请参见回归的NCA特征选择．

例子:LossFunction, @lossfun

`ε`- - - - - -epsilon值
`差(Y) / 13.49`（默认）|非负实数

值“LossFunction”、“epsiloninsensitive”选项，指定为逗号分隔的对，由“LossFunction”和一个非负的实标量。默认值是使用响应变量的四分位范围估计的样本标准差。

例子:‘ε’,0.1

数据类型:双|单身的

`CacheSize`- - - - - -内存大小
`1000 mb`（默认）|整数

用于目标函数和梯度计算的内存大小，以MB为单位，指定为逗号分隔对组成'缓存'和一个整数。

例子:“CacheSize”,1500 mb

数据类型:双|单身的

LBFGS选项

全部折叠

`HessianHistorySize`- - - - - -Hessian近似的历史缓冲区的大小
`15`（默认）|正整数

历史缓冲区的大小为Hessian近似“lbfgs”解算器，指定为逗号分隔的对，由“HessianHistorySize”一个正整数。在每次迭代时，该函数使用最近的HessianHistorySize迭代以构建反向黑森州的近似。

例子:'Hessianhistorysize'，20

数据类型:双|单身的

`InitialStepSize`- - - - - -初始步长
`“汽车”`（默认）|积极的真正的标量

的初始步长“lbfgs”解算器，指定为逗号分隔的对，由“InitialStepSize”一个正的实标量。默认情况下，该函数自动确定初始步长。

数据类型:双|单身的

`LineSearchMethod`- - - - - -线路搜索方法
`“weakwolfe”`（默认）|`“strongwolfe”`|`“回溯”`

行搜索方法，指定为逗号分隔对组成“LineSearchMethod”以及以下其中之一:

“weakwolfe”- 弱狼队搜索
“strongwolfe”-强沃尔夫线搜索
“回溯”-回溯线搜索

例子:'linearchmethod'，'backtracking'

`MaxLineSearchIterations`- - - - - -最大行搜索迭代次数
`20.`（默认）|正整数

最大线路搜索迭代次数，指定为逗号分隔的配对“MaxLineSearchIterations”一个正整数。

例子:“MaxLineSearchIterations”,25岁

数据类型:双|单身的

`GradientTolerance`- - - - - -相对收敛公差
`1 e-6`（默认）|积极的真正的标量

求解器梯度范数的相对收敛容限lbfgs，指定为逗号分隔的对，由'gradienttolerance'一个正的实标量。

例子:“GradientTolerance”,0.000002

数据类型:双|单身的

SGD选项

全部折叠

`InitialLearningRate`- - - - - -初始学习率`“sgd”`求解器
`“汽车”`（默认）|积极的真正的标量

初始学习率为“sgd”解算器，指定为逗号分隔的对，由“InitialLearningRate”一个正的实标量。

当使用求解器类型“sgd”时，学习率从指定的值开始随着迭代次数递减“InitialLearningRate”．

默认的“汽车”意味着初始学习率是通过对小数据子集进行实验来确定的。使用numtuning韵参数的名称-值对指定自动调优初始学习率的迭代次数。使用调整aubsetsize.名称值对参数指定用于自动调整初始学习速率的观察次数。

解算器类型“minibatch-lbfgs”，你可以设置“InitialLearningRate”一个非常高的值。在这种情况下，该函数将LBFGS分别应用于每个小批，并使用前一个小批的初始特征权重。

为了确保所选的初始学习率随着每次迭代而降低目标值，绘制迭代兑客观的保存在mdl。FitInfo财产。

你可以使用改装方法“InitialFeatureWeights”等于mdl。FeatureWeights从当前解决方案开始并运行额外的迭代

例子:“InitialLearningRate”,0.9

数据类型:双|单身的

`MiniBatchSize`- - - - - -在每批中使用的观察数`“sgd”`求解器
分钟(10,n）（默认）|正整数，取值范围为1 ~n

在每批中使用的观察数“sgd”解算器，指定为逗号分隔的对，由'minibatchsize'一个正整数，从1到n．

例子:“MiniBatchSize”,25岁

数据类型:双|单身的

`PassLimit`- - - - - -求解器的最大通道数`“sgd”`
`5`（默认）|正整数

通过所有的最大次数n观察对解算器“sgd”，指定为逗号分隔的对，由“PassLimit”一个正整数。每次通过所有数据都称为时代。

例子:“PassLimit”,10

数据类型:双|单身的

`NumPrint`- - - - - -显示聚合摘要的批次频率
10（默认）|正整数的值

显示聚合摘要的批次的频率“sgd”求解器，指定为逗号分隔的对组成“NumPrint”一个正整数。此论点适用于此“详细”值大于0。NumPrint对命令行显示的收敛摘要的每一行进行mini-batch处理。

例子:'numprint'，5

数据类型:双|单身的

`numtuning韵`- - - - - -优化迭代次数
20.（默认）|正整数

的调优迭代次数“sgd”解算器，指定为逗号分隔的对，由“NumTuningIterations”一个正整数。此选项仅适用于'InitialLearningrate'，'auto'．

例子:“NumTuningIterations”,15

数据类型:双|单身的

`调整aubsetsize.`- - - - - -用于调整初始学习率的观察数
分钟(100n）（默认）|正整数，取值范围为1 ~n

用于调优初始学习率的观察数，指定为逗号分隔对组成“TuningSubsetSize”和一个正整数，从1到n．此选项仅适用于'InitialLearningrate'，'auto'．

例子:“TuningSubsetSize”,25岁

数据类型:双|单身的

SGD或LBFGS选项

全部折叠

`IterationLimit`- - - - - -最大迭代次数
正整数

最大迭代次数，由逗号分隔对组成“IterationLimit”一个正整数。缺省情况下，SGD为10000,LBFGS和mini-batch LBFGS为1000。

每次通过批处理都是迭代。每次通过所有数据都是一个时代。如果数据被分成k小批量，则每个epoch等价于k迭代。

例子:“IterationLimit”,250年

数据类型:双|单身的

`StepTolerance`- - - - - -步长收敛公差
1 e-6（默认）|积极的真正的标量

收敛公差上的步长，指定为逗号分隔对组成“StepTolerance”一个正的实标量。的“lbfgs”求解器使用绝对步长公差，并且“sgd”求解器使用相对步长公差。

例子:“StepTolerance”,0.000005

数据类型:双|单身的

Mini-batch LBFGS选项

全部折叠

`MiniBatchLBFGSIterations`- - - - - -每个小批LBFGS步骤的最大迭代次数
10（默认）|正整数

每个小批LBFGS步骤的最大迭代次数，指定为逗号分隔对组成“MiniBatchLBFGSIterations”一个正整数。

例子:“MiniBatchLBFGSIterations”,15

小批LBFGS算法是SGD和LBFGS算法的结合。因此，适用于SGD和LBFGS求解器的所有名称-值对参数也适用于迷你批处理LBFGS算法。

数据类型:双|单身的

输出参数

全部折叠

`mdl`- 回归的邻域分量分析模型
`FeatureSelectionNCARegression`对象

邻域成分分析模型进行回归，返回为FeatureSelectionNCARegression对象。

参考

[1] Rasmussen, C. E.， R. M. Neal, G. E. Hinton, D. van Camp, M. Revow, Z. Ghahramani, R. Kustra, R. Tibshirani。《DELVE手册》，1996,http://mlg.eng.cam.ac.uk/pub/pdf/RasNeaHinetal96.pdf。

[2]多伦多大学计算机科学系深入研究数据集。http://www.cs.toronto.edu/深入/数据/ datasets.html。

纳什、w.j.、t.l.塞勒斯、s.r.塔尔博特、a.j.考索恩和w.b.福特。鲍鱼的种群生物学(haliotis.物种)的塔斯马尼亚岛。I.黑唇鲍鱼(h . rubra)从北海岸和巴斯海峡群岛。”海洋渔业司，技术报告第48号，1994年。

[4]沃,S。串级相关的扩展和基准:前馈监督人工神经网络的串级相关体系结构和基准的扩展。塔斯马尼亚大学计算机科学系毕业论文,1995年。

[5] Lichman, m.l UCI机器学习知识库。加州欧文:加州大学信息与计算机科学学院，2013。http://archive.ics.uci.edu/ml。

另请参阅

预测|损失|改装|FeatureSelectionNCARegression

主题

介绍了R2016b

fsrnca

语法

描述

例子

利用NCA进行回归，检测数据中的相关特征

调整正则化参数的NCA回归

比较NCA和ARD特征选择

输入参数

X- - - - - -预测变量值n——- - - - - -p矩阵

Y- - - - - -响应值数值实长度向量n

名称-值参数

Fitmethod.- - - - - -模型拟合方法“准确”（默认）|“没有”|“平均”

NumPartitions- - - - - -分区数量马克斯(2分钟(10,n）)（默认）|2和之间的整数n

λ- - - - - -正则化参数1／n（默认）|负的标量

LengthScale- - - - - -内核的宽度1（默认）|积极的真正的标量

InitialFeatureWeights- - - - - -初始特征权重的(p, 1)（默认）|p实正量的- × 1向量

权重- - - - - -观察权重n1s的-乘1向量（默认）|n实正量的- × 1向量

标准化- - - - - -标准化预测器数据的指标假（默认）|真正的

详细的- - - - - -冗长级别指标0（默认）|1|＞1

求解器- - - - - -解算器类型“lbfgs”|“sgd”|“minibatch-lbfgs”

LossFunction- - - - - -损失函数“疯了”（默认）|mse的|“epsiloninsensitive”|函数处理

ε- - - - - -epsilon值差(Y) / 13.49（默认）|非负实数

CacheSize- - - - - -内存大小1000 mb（默认）|整数

HessianHistorySize- - - - - -Hessian近似的历史缓冲区的大小15（默认）|正整数

InitialStepSize- - - - - -初始步长“汽车”（默认）|积极的真正的标量

LineSearchMethod- - - - - -线路搜索方法“weakwolfe”（默认）|“strongwolfe”|“回溯”

MaxLineSearchIterations- - - - - -最大行搜索迭代次数20.（默认）|正整数

GradientTolerance- - - - - -相对收敛公差1 e-6（默认）|积极的真正的标量

InitialLearningRate- - - - - -初始学习率“sgd”求解器“汽车”（默认）|积极的真正的标量

MiniBatchSize- - - - - -在每批中使用的观察数“sgd”求解器分钟(10,n）（默认）|正整数，取值范围为1 ~n

PassLimit- - - - - -求解器的最大通道数“sgd”5（默认）|正整数

NumPrint- - - - - -显示聚合摘要的批次频率10（默认）|正整数的值

numtuning韵- - - - - -优化迭代次数20.（默认）|正整数

调整aubsetsize.- - - - - -用于调整初始学习率的观察数分钟(100n）（默认）|正整数，取值范围为1 ~n

IterationLimit- - - - - -最大迭代次数正整数

StepTolerance- - - - - -步长收敛公差1 e-6（默认）|积极的真正的标量

MiniBatchLBFGSIterations- - - - - -每个小批LBFGS步骤的最大迭代次数10（默认）|正整数

输出参数

mdl- 回归的邻域分量分析模型FeatureSelectionNCARegression对象

参考

另请参阅

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习:一步一步的指导与MATLAB

`X`- - - - - -预测变量值
n——- - - - - -p矩阵

`Y`- - - - - -响应值
数值实长度向量n

`Fitmethod.`- - - - - -模型拟合方法
`“准确”`（默认）|`“没有”`|`“平均”`

`NumPartitions`- - - - - -分区数量
`马克斯(2分钟(10,n）)`（默认）|2和之间的整数n

`λ`- - - - - -正则化参数
1／n（默认）|负的标量

`LengthScale`- - - - - -内核的宽度
`1`（默认）|积极的真正的标量

`InitialFeatureWeights`- - - - - -初始特征权重
`的(p, 1)`（默认）|p实正量的- × 1向量

`权重`- - - - - -观察权重
n1s的-乘1向量（默认）|n实正量的- × 1向量

`标准化`- - - - - -标准化预测器数据的指标
`假`（默认）|`真正的`

`详细的`- - - - - -冗长级别指标
0（默认）|1|＞1

`求解器`- - - - - -解算器类型
`“lbfgs”`|`“sgd”`|`“minibatch-lbfgs”`

`LossFunction`- - - - - -损失函数
`“疯了”`（默认）|`mse的`|`“epsiloninsensitive”`|函数处理

`ε`- - - - - -epsilon值
`差(Y) / 13.49`（默认）|非负实数

`CacheSize`- - - - - -内存大小
`1000 mb`（默认）|整数

`HessianHistorySize`- - - - - -Hessian近似的历史缓冲区的大小
`15`（默认）|正整数

`InitialStepSize`- - - - - -初始步长
`“汽车”`（默认）|积极的真正的标量

`LineSearchMethod`- - - - - -线路搜索方法
`“weakwolfe”`（默认）|`“strongwolfe”`|`“回溯”`

`MaxLineSearchIterations`- - - - - -最大行搜索迭代次数
`20.`（默认）|正整数

`GradientTolerance`- - - - - -相对收敛公差
`1 e-6`（默认）|积极的真正的标量

`InitialLearningRate`- - - - - -初始学习率`“sgd”`求解器
`“汽车”`（默认）|积极的真正的标量

`MiniBatchSize`- - - - - -在每批中使用的观察数`“sgd”`求解器
分钟(10,n）（默认）|正整数，取值范围为1 ~n

`PassLimit`- - - - - -求解器的最大通道数`“sgd”`
`5`（默认）|正整数

`NumPrint`- - - - - -显示聚合摘要的批次频率
10（默认）|正整数的值

`numtuning韵`- - - - - -优化迭代次数
20.（默认）|正整数

`调整aubsetsize.`- - - - - -用于调整初始学习率的观察数
分钟(100n）（默认）|正整数，取值范围为1 ~n

`IterationLimit`- - - - - -最大迭代次数
正整数

`StepTolerance`- - - - - -步长收敛公差
1 e-6（默认）|积极的真正的标量

`MiniBatchLBFGSIterations`- - - - - -每个小批LBFGS步骤的最大迭代次数
10（默认）|正整数

`mdl`- 回归的邻域分量分析模型
`FeatureSelectionNCARegression`对象