fsrnca

特征选择使用邻域成分分析回归

折叠所有页面

句法

mdl = fsrnca (X, Y)

mdl = fsrnca（x，y，名称，值）

描述

例子

mdl= fsrnca（X那y的）中的预测器执行回归的特征选择X和反应y．

fsrnca通过正则化邻域分量分析(NCA)对角自适应来学习特征权值。

例子

mdl= fsrnca（X那y那名称,值的）对回归执行功能选择，具有一个或多个名称值对参数指定的其他选项。

例子

全部折叠

使用NCA进行回归检测数据中的相关功能

打开生活的脚本

生成玩具数据，其中响应变量依赖于第3、第9和第15个预测因子。

rng (0,'twister'）；%的再现性N = 100;X =兰德(N, 20);y = 1 + X(:, 3) * 5 +罪(X(: 9)。/ X (:, 15) + 0.25 * randn (N - 1));

适合回归的邻域分量分析模型。

mdl = fsrnca (X, y,“详细”, 1'lambda', 0.5 / N);

O Solver = LBFGS，Hessianhistorysize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|凝结|伽玛|alpha |接受| |====================================================================================================| | 0 | 1.636932e+00 | 3.688e-01 | 0.000e+00 | | 1.627e+00 | 0.000e+00 | YES | | 1 | 8.304833e-01 | 1.083e-01 | 2.449e+00 | OK | 9.194e+00 | 4.000e+00 | YES | | 2 | 7.548105e-01 | 1.341e-02 | 1.164e+00 | OK | 1.095e+01 | 1.000e+00 | YES | | 3 | 7.346997e-01 | 9.752e-03 | 6.383e-01 | OK | 2.979e+01 | 1.000e+00 | YES | | 4 | 7.053407e-01 | 1.605e-02 | 1.712e+00 | OK | 5.809e+01 | 1.000e+00 | YES | | 5 | 6.970502e-01 | 9.106e-03 | 8.818e-01 | OK | 6.223e+01 | 1.000e+00 | YES | | 6 | 6.952347e-01 | 5.522e-03 | 6.382e-01 | OK | 3.280e+01 | 1.000e+00 | YES | | 7 | 6.946302e-01 | 9.102e-04 | 1.952e-01 | OK | 3.380e+01 | 1.000e+00 | YES | | 8 | 6.945037e-01 | 6.557e-04 | 9.942e-02 | OK | 8.490e+01 | 1.000e+00 | YES | | 9 | 6.943908e-01 | 1.997e-04 | 1.756e-01 | OK | 1.124e+02 | 1.000e+00 | YES | | 10 | 6.943785e-01 | 3.478e-04 | 7.755e-02 | OK | 7.621e+01 | 1.000e+00 | YES | | 11 | 6.943728e-01 | 1.428e-04 | 3.416e-02 | OK | 3.649e+01 | 1.000e+00 | YES | | 12 | 6.943711e-01 | 1.128e-04 | 1.231e-02 | OK | 6.092e+01 | 1.000e+00 | YES | | 13 | 6.943688e-01 | 1.066e-04 | 2.326e-02 | OK | 9.319e+01 | 1.000e+00 | YES | | 14 | 6.943655e-01 | 9.324e-05 | 4.399e-02 | OK | 1.810e+02 | 1.000e+00 | YES | | 15 | 6.943603e-01 | 1.206e-04 | 8.823e-02 | OK | 4.609e+02 | 1.000e+00 | YES | | 16 | 6.943582e-01 | 1.701e-04 | 6.669e-02 | OK | 8.425e+01 | 5.000e-01 | YES | | 17 | 6.943552e-01 | 5.160e-05 | 6.473e-02 | OK | 8.832e+01 | 1.000e+00 | YES | | 18 | 6.943546e-01 | 2.477e-05 | 1.215e-02 | OK | 7.925e+01 | 1.000e+00 | YES | | 19 | 6.943546e-01 | 1.077e-05 | 6.086e-03 | OK | 1.378e+02 | 1.000e+00 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 20 | 6.943545e-01 | 2.260e-05 | 4.071e-03 | OK | 5.856e+01 | 1.000e+00 | YES | | 21 | 6.943545e-01 | 4.250e-06 | 1.109e-03 | OK | 2.964e+01 | 1.000e+00 | YES | | 22 | 6.943545e-01 | 1.916e-06 | 8.356e-04 | OK | 8.649e+01 | 1.000e+00 | YES | | 23 | 6.943545e-01 | 1.083e-06 | 5.270e-04 | OK | 1.168e+02 | 1.000e+00 | YES | | 24 | 6.943545e-01 | 1.791e-06 | 2.673e-04 | OK | 4.016e+01 | 1.000e+00 | YES | | 25 | 6.943545e-01 | 2.596e-07 | 1.111e-04 | OK | 3.154e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 2.596e-07 Two norm of the final step = 1.111e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 2.596e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘制所选功能。无关的功能的重量应接近零。

图（）绘图（mdl.featureweights，'ro'网格)在包含('特征索引') ylabel (“功能重量”的）

图中包含一个轴对象。axis对象包含一个类型为line的对象。

fsrnca正确检测相关预测因子以获取此响应。

调整正则化参数的NCA回归

打开生活的脚本

加载示例数据。

加载robotarm.mat

这Robotarm.(pumadyn32nm)数据集是使用一个机器人手臂模拟器创建的，具有7168个训练观测和1024个测试观测，具有32个特征[1][2]。这是原始数据集的预处理版本。数据经过减去线性回归拟合的预处理，然后将所有特征归一化到单位方差。

执行邻域分量分析（NCA）功能选择，以便与默认值回归 $λ$ （正则化参数）值。

nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'lbfgs'）；

绘制所选值。

图绘图（nca.featureweights，'ro')包含('特征索引') ylabel (“功能重量”网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

超过一半的特征权值是非零的。通过使用选定的特性，使用测试集作为性能度量来计算损失。

L =损失(nca, Xtest欧美)

L = 0.0837.

尝试提高性能。调整正则化参数 $λ$ 对于使用五倍交叉验证的特征选择。调整 $λ$ 意味着找到 $λ$ 值产生最小回归损耗。调 $λ$ 使用交叉验证：

1.将数据分为五个倍数。每折，CVPartition.将数据作为培训集分配4/5，以及作为测试集的数据1/5。

RNG（1）%的再现性n =长度(ytrain);本量利= cvpartition(长度(ytrain),'kfold'5);numvalidsets = cvp.NumTestSets;

分配 $λ$ 搜索的值。将响应值常数乘以将损耗函数术语增加一个常量的因子。因此，包括性病(ytrain)因素在 $λ$ 值余额余损函数（“疯了”，平均绝对偏差）术语和目标函数中的正则化术语。在这个例子中，性病(ytrain)Factor是1，因为加载的样本数据是原始数据集的预处理版本。

lambdavals = linspace(0, 50岁,20)*性病(ytrain) / n;

创建一个数组以存储丢失值。

lossvals = 0(长度(lambdavals), numvalidsets);

2.训练每个人的NCA模型 $λ$ 值，使用每个折叠中的训练集。

3.使用NCA模型计算折叠中相应测试集的回归损失。记录损失值。

4.对每一个重复此步骤 $λ$ 价值和每个折叠。

为了i = 1:长度(lambdavals)为了k = 1:numvalidsets X = Xtrain(cvp.training(k)，:);y = ytrain (cvp.training (k):);Xvalid = Xtrain (cvp.test (k):);yvalid = ytrain (cvp.test (k):);nca = fsrnca (X, y,'fitmethod'那“准确”那......“规划求解”那“minibatch-lbfgs”那'lambda'lambdavals(我),......“GradientTolerance”1的军医,'iterationlimit', 30);lossvals (i (k) =损失(nca, Xvalid yvalid,“LossFunction”那mse的）；结束结束

计算从每个折叠中获得的平均损失 $λ$ 价值。

meanloss =意味着(lossvals, 2);

画出平均损失和 $λ$ 价值观。

图绘制(lambdavals meanloss,“ro - - - - - -”)包含('lambda') ylabel ('损失（MSE）'网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

找出 $λ$ 提供最小损耗值的值。

[〜，idx] = min（meanloss）

idx = 17

bestlambda = lambdavals (idx)

Bestlambda = 0.0059.

Bestloss = Meanloss（IDX）

Bestloss = 0.0590.

使用最好的回归NCA功能选择模型 $λ$ 价值。

nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'lbfgs'那'lambda', bestlambda);

绘制所选功能。

图绘图（nca.featureweights，'ro')包含('特征索引') ylabel ('特征重量'网格)在

图中包含一个轴对象。axis对象包含一个类型为line的对象。

大多数特征权重为零。fsrnca识别四个最相关的功能。

计算测试集的损失。

L =损失(nca, Xtest欧美)

L = 0.0571

调整正则化参数， $λ$ ，消除了更多不相关的特性，提高了性能。

比较NCA和ARD特征选择

打开生活的脚本

此示例使用鲍鱼数据[3][4]来自UCI机器学习知识库[5]．

下载数据并将其保存在当前文件夹中“abalone.csv”．

url ='https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data'；websave (“abalone.csv”url);

将数据读入表中。显示前7行。

台= readtable (“abalone.csv”那'文件类型'那“文本”那“ReadVariableNames”、假);tbl.Properties.VariableNames = {'性别'那“长度”那“直径”那“高度”那......“WWeight”那'牛水岛'那'vweight'那“ShWeight”那'noshellrings'};TBL（1：7，:)

ans =7×9表性长度直径高度WWeight SWeight VWeight ShWeight NoShellRings  _____ ______ ________ ______ _______ _______ _______ ________ ____________ {' M} 0.455 0.365 0.095 0.514 0.2245 0.101 0.15 15{“M”}0.35 0.265 0.09 0.2255 0.0995 0.0485 0.07 7 {' F '} 0.53 0.42 0.135 0.677 0.2565 0.1415 0.21 9{“M”}0.44 0.365 0.125 0.516 0.2155 0.114 0.155十{' i '} 0.33 0.255 0.08 0.205 0.0895 0.0395 0.055 7 {' i '} 0.425 0.3 0.095 0.3515 0.141 0.0775 0.12 8 {' f '} 0.53 0.415 0.15 0.7775 0.237 0.1415 0.33 20

数据集有4177个观测数据。目的是通过八项物理测量来预测鲍鱼的年龄。最后一个变量，壳环的数目，显示了鲍鱼的年龄。第一个预测因子是一个分类变量。表中的最后一个变量是响应变量。

准备预测器和反应变量fsrnca．最后一列资源描述包含壳环的数量，这是响应变量。第一个预测变量，性别，是绝对的。您必须创建虚拟变量。

y = table2array（tbl（：，结束））;x（：，1：3）= dummyvar（分类（tbl.sex））;x = [x，table2array（tbl（:,2：end-1））];

使用四倍的交叉验证来调整NCA模型中的正则化参数。首先将数据分区为四个折叠。

rng (“默认”的）%的再现性n =长度（y）;cvp = cvpartition（n，'kfold'4);numtestsets = cvp.NumTestSets;

CVPartition.将数据划分为四个分区（折叠）。在每个折叠中，约四分之三的数据被分配为训练集，第四个被分配为测试集。

生成各种各样的 $λ$ (正则化参数)的值来拟合模型，以确定最优 $λ$ 价值。创建一个向量来收集每个适合的损失值。

lambdavals = linspace(0、25、20)*性病(y) / n;lossvals = 0(长度(lambdavals), numtestsets);

的行损失对应于 $λ$ 值和列对应于折叠。

拟合NCA模型进行回归使用fsrnca使用每个折叠的数据 $λ$ 价值。使用每个折叠的测试数据计算每个模型的损失。

为了i = 1:长度(lambdavals)为了Xtrain = X(cvp.training(k)，:);ytrain = y (cvp.training (k):);Xtest = X (cvp.test (k):);欧美= y (cvp.test (k):);nca = fsrnca (Xtrain ytrain,'fitmethod'那“准确”那......“规划求解”那'lbfgs'那'lambda'lambdavals(我),“标准化”，真的）;损失（i，k）=损失（nca，xtest，ytest，“LossFunction”那mse的）；结束结束

计算折痕的平均损失，也就是计算第2维的平均值损失．

meanloss =意味着(lossvals, 2);

画出 $λ$ 值与四个折叠的均值损失。

图绘制(lambdavals meanloss,“ro - - - - - -”)包含('lambda') ylabel ('损失（MSE）'网格)在

找出 $λ$ 最小化平均损失的值。

[~, idx] = min (meanloss);bestlambda = lambdavals (idx)

Bestlambda = 0.0071

计算最佳损失值。

Bestloss = Meanloss（IDX）

bestloss = 4.7799

将NCA模型最好地贴合到所有数据上 $λ$ 价值。

nca = fsrnca (X, y,'fitmethod'那“准确”那“规划求解”那'lbfgs'那......“详细”, 1'lambda'bestlambda,“标准化”，真的）;

O Solver = LBFGS，Hessianhistorysize = 15，LineSearchMethod =弱狼| =================================================================================================== ||磨练|有趣的价值|常规毕业|规范步骤|凝结|伽玛|alpha |接受| |====================================================================================================| | 0 | 2.469168e+00 | 1.266e-01 | 0.000e+00 | | 4.741e+00 | 0.000e+00 | YES | | 1 | 2.375166e+00 | 8.265e-02 | 7.268e-01 | OK | 1.054e+01 | 1.000e+00 | YES | | 2 | 2.293528e+00 | 2.067e-02 | 2.034e+00 | OK | 1.569e+01 | 1.000e+00 | YES | | 3 | 2.286703e+00 | 1.031e-02 | 3.158e-01 | OK | 2.213e+01 | 1.000e+00 | YES | | 4 | 2.279928e+00 | 2.023e-02 | 9.374e-01 | OK | 1.953e+01 | 1.000e+00 | YES | | 5 | 2.276258e+00 | 6.884e-03 | 2.497e-01 | OK | 1.439e+01 | 1.000e+00 | YES | | 6 | 2.274358e+00 | 1.792e-03 | 4.010e-01 | OK | 3.109e+01 | 1.000e+00 | YES | | 7 | 2.274105e+00 | 2.412e-03 | 2.399e-01 | OK | 3.557e+01 | 1.000e+00 | YES | | 8 | 2.274073e+00 | 1.459e-03 | 7.684e-02 | OK | 1.356e+01 | 1.000e+00 | YES | | 9 | 2.274050e+00 | 3.733e-04 | 3.797e-02 | OK | 1.725e+01 | 1.000e+00 | YES | | 10 | 2.274043e+00 | 2.750e-04 | 1.379e-02 | OK | 2.445e+01 | 1.000e+00 | YES | | 11 | 2.274027e+00 | 2.682e-04 | 5.701e-02 | OK | 7.386e+01 | 1.000e+00 | YES | | 12 | 2.274020e+00 | 1.712e-04 | 4.107e-02 | OK | 9.461e+01 | 1.000e+00 | YES | | 13 | 2.274014e+00 | 2.633e-04 | 6.720e-02 | OK | 7.469e+01 | 1.000e+00 | YES | | 14 | 2.274012e+00 | 9.818e-05 | 2.263e-02 | OK | 3.275e+01 | 1.000e+00 | YES | | 15 | 2.274012e+00 | 4.220e-05 | 6.188e-03 | OK | 2.799e+01 | 1.000e+00 | YES | | 16 | 2.274012e+00 | 2.859e-05 | 4.979e-03 | OK | 6.628e+01 | 1.000e+00 | YES | | 17 | 2.274011e+00 | 1.582e-05 | 6.767e-03 | OK | 1.439e+02 | 1.000e+00 | YES | | 18 | 2.274011e+00 | 7.623e-06 | 4.311e-03 | OK | 1.211e+02 | 1.000e+00 | YES | | 19 | 2.274011e+00 | 3.038e-06 | 2.528e-04 | OK | 1.798e+01 | 5.000e-01 | YES | |====================================================================================================| | ITER | FUN VALUE | NORM GRAD | NORM STEP | CURV | GAMMA | ALPHA | ACCEPT | |====================================================================================================| | 20 | 2.274011e+00 | 6.710e-07 | 2.325e-04 | OK | 2.721e+01 | 1.000e+00 | YES | Infinity norm of the final gradient = 6.710e-07 Two norm of the final step = 2.325e-04, TolX = 1.000e-06 Relative infinity norm of the final gradient = 6.710e-07, TolFun = 1.000e-06 EXIT: Local minimum found.

绘制所选功能。

图绘图（nca.featureweights，'ro')包含('特征索引') ylabel ('特征重量'网格)在

不相关的特征权值为零。根据这个图，特征1、3和9没有被选中。

使用用于参数估计的回归方法的子集和预测预测的完全独立条件方法的高斯进程回归（GPR）模型。使用ARD平方指数内核功能，该函数为每个预测器分配单个权重。标准化预测器。

gprMdl = fitrgp(资源描述,'noshellrings'那“KernelFunction”那“ardsquaredexponential”那......'fitmethod'那'SR'那“PredictMethod”那'fic'那“标准化”,真正的)

gprMdl = RegressionGP PredictorNames: {'Sex' ' ' 'Length' ' 'Diameter' 'Height' 'WWeight' ' ' weight ' 'VWeight' 'ShWeight'} ResponseName: 'NoShellRings' CategoricalPredictors: 1 ResponseTransform: 'none' NumObservations: 4177 KernelFunction: ' ardsquared指数' KernelInformation: [1×1 struct] BasisFunction: 'Constant' Beta: 11.4959 Sigma:2.0282 PredictorLocation: [10×1 double] PredictorScale: [10×1 double] Alpha: [1000×1 double] ActiveSetVectors: [1000×10 double] PredictMethod: 'FIC' ActiveSetSize: 1000 FitMethod: 'SR' ActiveSetMethod: 'Random' IsActiveSetVector: [4177×1 logical] LogLikelihood: -9.0019e+03 ActiveSetHistory: [1×1 struct] BCDInformation:[]属性，方法

计算训练数据上的回归损失(再替换损失)。

L = resubLoss (gprMdl)

L = 4.0306.

最小的交叉验证损耗使用fsrnca与使用ARD内核的GPR模型获得的丢失相当。

输入参数

全部折叠

`X`-预测变量值
N.——- - - - - -P.矩阵

预测变量值，指定为N.——- - - - - -P.矩阵,N.观察的次数是多少P.为预测变量的数量。

数据类型：单身的|双

`y`-响应值
数值实长度向量N.

响应值，指定为长度的数字实际矢量N.,在那里N.为观察次数。

数据类型：单身的|双

名称 - 值参数

指定可选的逗号分离对名称,值参数。姓名是参数名称和价值为对应值。姓名必须出现在引号内。可以以任意顺序指定多个名称和值对参数Name1, Value1,…,的家．

例子:“规划求解”,“sgd”、“重量”,0.0003 W,“λ”指定作为随机梯度下降的求解器，观察权重用作为向量中的值W.，并将正则化参数设置为0.0003。

合适的选项

全部折叠

`FitMethod`-拟合模型的方法
`“准确”`（默认）|`“没有”`|`“平均”`

拟合模型的方法，指定为逗号分隔的对组成'fitmethod'以及以下之一：

“准确”-使用所有数据进行拟合。
“没有”- 没有配件。使用此选项可使用对FSRNCA的呼叫中提供的初始功能权重评估NCA模型的泛化误差。
“平均”—将数据划分为多个分区(子集)，使用确切的方法，并返回特征权重的平均值。属性指定分区的数目numpartitions.名称值对参数。

例子:“FitMethod”、“没有”

`numpartitions.`-分区数量
`马克斯(2分钟(10,N.）)`（默认）|2和之间的整数N.

分割数据的分区数量“FitMethod”、“平均”选项，指定为逗号分隔的对，由“NumPartitions”和2到之间的整数值N.,在那里N.为观察次数。

例子:“NumPartitions”,15

数据类型：双|单身的

`λ`-正则化参数
1／N.（默认）|负的标量

正则化参数防止过拟合，指定为逗号分隔对组成'lambda'一个非负标量。

作为观察人数N.增加，过拟合的机会减少，所需的正则化量也减少。看到调整正则化参数的NCA回归学习如何调优正则化参数。

例子:'lambda'，0.002

数据类型：双|单身的

`LengthScale`-核宽
`1`（默认）|积极的真正的标量

内核的宽度，指定为逗号分隔的配对组成'lifferscale'一个正的实标量。

当所有预测因子处于相同的比例时，长度比例值1是明智的。如果是预测因素X是非常不同的大小，然后考虑标准化的预测值使用'标准化'，真实和设置“LengthScale”,1．

例子:“LengthScale”,1.5

数据类型：双|单身的

`InitialFeaturewuitys.`-初始特征权重
`的(p, 1)`（默认）|P.-1-1 vector的真正正标量

初始特征权重，指定为逗号分隔对组成“InitialFeatureWeights”和一个P.实正量的- × 1向量P.是培训数据中的预测器数量。

优化特征权重的正常目标函数是非渗透。结果，使用不同的初始特征权重可以给出不同的结果。将所有初始特征权重设置为1通常运行良好，但在某些情况下，随机初始化使用兰特(p, 1)可以提供更好质量的解决方案。金宝搏官方网站

数据类型：双|单身的

`重量`-观察权重
N.1s的-乘1向量（默认）|N.-1-1 vector的真正正标量

观察权值，指定为逗号分隔的对，由“ObservationWeights”和N.-1-1载体的真正正标量。与他人相比，使用观察权重指定一些观察结果的重要性。默认权重分配对所有观察的同等重要。

数据类型：双|单身的

`标准化`-标准化预测器数据的指示灯
`假`（默认）|`真正的`

用于标准化预测器数据的指标，指定为逗号分隔对，由“标准化”,要么假或真正的．有关更多信息，请参见标准化的影响．

例子:'标准化'，真实

数据类型：逻辑

`详细的`-冗长的水平指示器
0.（默认）|1|> 1

用于显示收敛摘要的详细程度指示器，指定为逗号分隔对组成“详细”以及以下之一：

0 -没有收敛总结
1 - 收敛摘要，包括渐变和目标函数值的规范
> 1 - 更多收敛信息，具体取决于拟合算法
当使用“minibatch-lbfgs”求解器和详细级> 1，收敛信息包括迭代从中间小批LBFGS拟合的日志。

例子:“详细”,1

数据类型：双|单身的

`解算器`-解算器类型
`'lbfgs'`|`'SGD'`|`“minibatch-lbfgs”`

用于估计特征权重的求解器类型，指定为由逗号分隔的对组成“规划求解”以及以下之一：

'lbfgs'-有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)算法
'SGD'- 随机梯度下降（SGD）算法
“minibatch-lbfgs”- 随机梯度下降与LBFGS算法应用于迷你批次

默认为'lbfgs'为了N.≤1000,'SGD'为了N.> 1000。

例子:“规划求解”、“minibatch-lbfgs”

`LossFunction`-损失函数
`“疯了”`（默认）|`mse的`|`“epsiloninsensitive”`|功能手柄

损失函数，指定为逗号分隔对组成“LossFunction”以及以下之一：

“疯了”- 意味着绝对偏差

$L. （ y_{一世} 那 y_{j} 的） = | y_{一世} - y_{j} | ．$
mse的-均方误差

$L. （ y_{一世} 那 y_{j} 的） = {（ y_{一世} - y_{j} 的）}^{2} ．$
“epsiloninsensitive”- ε不敏感损耗函数

$L. （ y_{一世} 那 y_{j} 的） = 马克斯（ 0. 那 | y_{一世} - y_{j} | - ϵ 的）．$

该损失函数对异常值更加强大，而不是平均平方误差或平均绝对偏差。
@lossfun-自定义丢失功能处理。损失函数是这样的形式。
```
函数L = lossfun (Yu青年志愿)损失计算%......
```
余是A.你-By-1矢量和青年志愿是A.V.-by-1矢量。L.是A.你——- - - - - -V.损失值矩阵l（i，j）损失值是多少Yu(我)和青年志愿(j)．

最小化的目标函数包括损失函数L.（y_一世那y_j的）如下:

$F （ W. 的） = \frac{1}{N.} \sum_{一世 = 1}^{N.} \sum_{j = 1 那 j \neq 一世}^{N.} {P.}_{一世 j} L. （ y_{一世} 那 y_{j} 的） + λ \sum_{R. = 1}^{P.} {W.}_{R.}^{2} 那$

在哪里W.为特征权值向量，N.是观察数，和P.为预测变量的数量。P._ij是X_j参考点是什么X_一世．有关详细信息,请参见回归的NCA特征选择．

例子:LossFunction, @lossfun

`ε`-epsilon值
`IQR（Y）/13.49`（默认）|非负真正的标量

值“LossFunction”、“epsiloninsensitive”选项，指定为逗号分隔的对，由“LossFunction”和一个非负真正的标量。默认值是使用响应变量的四分位数范围的示例标准偏差的估计。

例子:‘ε’,0.1

数据类型：双|单身的

`CacheSize`-内存大小
`1000MB.`（默认）|整数

用于目标函数和梯度计算的内存大小，以MB为单位，指定为逗号分隔对组成“CacheSize”和一个整数。

例子:“CacheSize”,1500 mb

数据类型：双|单身的

lbfgs选项

全部折叠

`HessianHistorySize`-Hessian近似的历史缓冲区的大小
`15`（默认）|正整数

历史缓冲区的大小为Hessian近似'lbfgs'解算器，指定为逗号分隔的对，由'Hessianhistorysize'一个正整数。在每次迭代时，该函数使用最近的HessianHistorySize迭代以构建逆向黑森州的近似。

例子:“HessianHistorySize”,20

数据类型：双|单身的

`initalstepsize.`-初始步长
`'汽车'`（默认）|积极的真正的标量

初始步骤'lbfgs'解算器，指定为逗号分隔的对，由'initalstepsize'一个正的实标量。默认情况下，该函数自动确定初始步长。

数据类型：双|单身的

`LineSearchMethod`-线搜索方法
`'弱狼'`（默认）|`'strongwolfe'`|`“回溯”`

行搜索方法，指定为逗号分隔对组成'linesearchmethod'以及以下之一：

'弱狼'-弱沃尔夫线搜索
'strongwolfe'-强沃尔夫线搜索
“回溯”-回溯线搜索

例子:“LineSearchMethod”、“回溯”

`MaxLinesearch录制`-最大行搜索迭代次数
`20.`（默认）|正整数

最大行搜索迭代次数，指定为逗号分隔对组成'maxlinesearch jortations'一个正整数。

例子:“MaxLineSearchIterations”,25岁

数据类型：双|单身的

`梯度特拉`-相对收敛公差
`1E-6`（默认）|积极的真正的标量

求解器梯度标准的相对收敛耐受性lbfgs.，指定为逗号分隔的对，由“GradientTolerance”一个正的实标量。

例子:“GradientTolerance”,0.000002

数据类型：双|单身的

SGD选项

全部折叠

`InitialLearningRate`-初始学习率`'SGD'`求解器
`'汽车'`（默认）|积极的真正的标量

初始学习率为'SGD'解算器，指定为逗号分隔的对，由'InitialLearningrate'一个正的实标量。

当使用求解器类型'SGD'时，学习率从指定的值开始随着迭代次数递减'InitialLearningrate'．

默认的'汽车'意味着初始学习率是通过对小数据子集进行实验来确定的。使用numtuning韵参数的名称-值对指定自动调优初始学习率的迭代次数。使用TuningSubsetSize名称 - 值对参数指定用于自动调整初始学习速率的观察次数。

对于求解器类型“minibatch-lbfgs”，您可以设置'InitialLearningrate'一个非常高的值。在这种情况下，该函数将LBFGS分别应用于每个小批，并使用前一个小批的初始特征权重。

为了确保所选的初始学习率随着每次迭代而降低目标值，绘制迭代兑客观的保存在mdl.fitinfo.财产。

你可以使用改装方法“InitialFeatureWeights”等于mdl.featureweights.从当前解决方案开始并运行额外的迭代

例子:“InitialLearningRate”,0.9

数据类型：双|单身的

`MiniBatchSize`-在每批中使用的观察数`'SGD'`求解器
分钟(10,N.的）（默认）|正整数，取值范围为1 ~N.

在每批中使用的观察数'SGD'解算器，指定为逗号分隔的对，由'迷你atchsize'一个正整数，从1到N.．

例子:'迷你率'，25

数据类型：双|单身的

`PassLimit`-求解器的最大通道数`'SGD'`
`5.`（默认）|正整数

通过所有的最大次数N.观察对解算器'SGD'，指定为逗号分隔的对，由“PassLimit”一个正整数。每次通过所有数据都被称为时代。

例子:“PassLimit”,10

数据类型：双|单身的

`Numprint.`-用于显示收敛摘要的批次频率
10（默认）|正整数的值

用于显示收敛摘要的批次频率'SGD'求解器，指定为逗号分隔对组成“NumPrint”一个正整数。这个论点适用于什么时候“详细”值大于0。Numprint.在命令行上显示的收敛摘要的每一行处理迷你批次。

例子:“NumPrint”,5

数据类型：双|单身的

`numtuning韵`-调整迭代次数
20.（默认）|正整数

的调优迭代次数'SGD'解算器，指定为逗号分隔的对，由“NumTuningIterations”一个正整数。此选项仅适用于'InitialLearningrate'，'auto'．

例子:'numtuning韵'，15

数据类型：双|单身的

`TuningSubsetSize`-用于调整初始学习率的观察数
分钟(100N.的）（默认）|正整数，取值范围为1 ~N.

用于调优初始学习率的观察数，指定为逗号分隔对组成“TuningSubsetSize”和一个正整数，从1到N.．此选项仅适用于'InitialLearningrate'，'auto'．

例子:“TuningSubsetSize”,25岁

数据类型：双|单身的

SGD或LBFGS选项

全部折叠

`IterationLimit`-最大迭代次数
正整数

指定为逗号分隔对的最大迭代次数'iterationlimit'一个正整数。缺省情况下，SGD为10000,LBFGS和mini-batch LBFGS为1000。

每次通过批处理都是一种迭代。每次通过所有数据都是一个时代。如果数据被分成K.小批量，则每个epoch等价于K.迭代。

例子:'iterationlimit'，250

数据类型：双|单身的

`StepTolerance.`-步长收敛公差
1E-6（默认）|积极的真正的标量

收敛公差上的步长，指定为逗号分隔对组成“StepTolerance”一个正的实标量。这'lbfgs'求解器使用绝对步长公差，并且'SGD'求解器使用相对步长公差。

例子:“StepTolerance”,0.000005

数据类型：双|单身的

迷你批量LBFGS选项

全部折叠

`MiniBatchLBFGSIterations`-每个小批LBFGS步骤的最大迭代次数
10（默认）|正整数

每个小批LBFGS步骤的最大迭代次数，指定为逗号分隔对组成“MiniBatchLBFGSIterations”一个正整数。

例子:“MiniBatchLBFGSIterations”,15

小批LBFGS算法是SGD和LBFGS算法的结合。因此，适用于SGD和LBFGS求解器的所有名称-值对参数也适用于迷你批处理LBFGS算法。

数据类型：双|单身的

输出参数

全部折叠

`mdl`- 回归的邻域分量分析模型
`FeatureSelectionNCARegression`目的

回归的邻域分量分析模型，返回A.FeatureSelectionNCARegression对象。

参考文献

[1] Rasmussen, C. E.， R. M. Neal, G. E. Hinton, D. van Camp, M. Revow, Z. Ghahramani, R. Kustra, R. Tibshirani。《DELVE手册》，1996,http://mlg.eng.cam.ac.uk/pub/pdf/RasNeaHinetal96.pdf。

[2]多伦多大学计算机科学系深入研究数据集。http://www.cs.toronto.edu/深入/数据/ datasets.html。

[3]纳什，W.J.，T.L.L.L.卖家，S.R.Talbot，A. J. Cawthorn和W. B. Ford。“鲍鱼的人口生物学（石决明塔斯马尼亚的物种。I. Blacklip鲍鱼（h . rubra)从北海岸和巴斯海峡群岛。”海洋渔业司，技术报告第48号，1994年。

[4]沃,S。串级相关的扩展和基准:前馈监督人工神经网络的串级相关体系结构和基准的扩展。塔斯马尼亚大学计算机科学论文1995年。

[5] Lichman，M. UCI机器学习存储库。欧文，加利福尼亚州：加州大学，信息学院，2013年，信息学院。http://archive.ics.uci.edu/ml。

也可以看看

预测|损失|改装|FeatureSelectionNCARegression

主题

介绍在R2016B.

fsrnca

句法

描述

例子

使用NCA进行回归检测数据中的相关功能

调整正则化参数的NCA回归

比较NCA和ARD特征选择

输入参数

X-预测变量值N.——- - - - - -P.矩阵

y-响应值数值实长度向量N.

名称 - 值参数

FitMethod-拟合模型的方法“准确”（默认）|“没有”|“平均”

numpartitions.-分区数量马克斯(2分钟(10,N.）)（默认）|2和之间的整数N.

λ-正则化参数1／N.（默认）|负的标量

LengthScale-核宽1（默认）|积极的真正的标量

InitialFeaturewuitys.-初始特征权重的(p, 1)（默认）|P.-1-1 vector的真正正标量

重量-观察权重N.1s的-乘1向量（默认）|N.-1-1 vector的真正正标量

标准化-标准化预测器数据的指示灯假（默认）|真正的

详细的-冗长的水平指示器0.（默认）|1|> 1

解算器-解算器类型'lbfgs'|'SGD'|“minibatch-lbfgs”

LossFunction-损失函数“疯了”（默认）|mse的|“epsiloninsensitive”|功能手柄

ε-epsilon值IQR（Y）/13.49（默认）|非负真正的标量

CacheSize-内存大小1000MB.（默认）|整数

HessianHistorySize-Hessian近似的历史缓冲区的大小15（默认）|正整数

initalstepsize.-初始步长'汽车'（默认）|积极的真正的标量

LineSearchMethod-线搜索方法'弱狼'（默认）|'strongwolfe'|“回溯”

MaxLinesearch录制-最大行搜索迭代次数20.（默认）|正整数

梯度特拉-相对收敛公差1E-6（默认）|积极的真正的标量

InitialLearningRate-初始学习率'SGD'求解器'汽车'（默认）|积极的真正的标量

MiniBatchSize-在每批中使用的观察数'SGD'求解器分钟(10,N.的）（默认）|正整数，取值范围为1 ~N.

PassLimit-求解器的最大通道数'SGD'5.（默认）|正整数

Numprint.-用于显示收敛摘要的批次频率10（默认）|正整数的值

numtuning韵-调整迭代次数20.（默认）|正整数

TuningSubsetSize-用于调整初始学习率的观察数分钟(100N.的）（默认）|正整数，取值范围为1 ~N.

IterationLimit-最大迭代次数正整数

StepTolerance.-步长收敛公差1E-6（默认）|积极的真正的标量

MiniBatchLBFGSIterations-每个小批LBFGS步骤的最大迭代次数10（默认）|正整数

输出参数

mdl- 回归的邻域分量分析模型FeatureSelectionNCARegression目的

参考文献

也可以看看

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习：使用MATLAB逐步指南

`X`-预测变量值
N.——- - - - - -P.矩阵

`y`-响应值
数值实长度向量N.

`FitMethod`-拟合模型的方法
`“准确”`（默认）|`“没有”`|`“平均”`

`numpartitions.`-分区数量
`马克斯(2分钟(10,N.）)`（默认）|2和之间的整数N.

`λ`-正则化参数
1／N.（默认）|负的标量

`LengthScale`-核宽
`1`（默认）|积极的真正的标量

`InitialFeaturewuitys.`-初始特征权重
`的(p, 1)`（默认）|P.-1-1 vector的真正正标量

`重量`-观察权重
N.1s的-乘1向量（默认）|N.-1-1 vector的真正正标量

`标准化`-标准化预测器数据的指示灯
`假`（默认）|`真正的`

`详细的`-冗长的水平指示器
0.（默认）|1|> 1

`解算器`-解算器类型
`'lbfgs'`|`'SGD'`|`“minibatch-lbfgs”`

`LossFunction`-损失函数
`“疯了”`（默认）|`mse的`|`“epsiloninsensitive”`|功能手柄

`ε`-epsilon值
`IQR（Y）/13.49`（默认）|非负真正的标量

`CacheSize`-内存大小
`1000MB.`（默认）|整数

`HessianHistorySize`-Hessian近似的历史缓冲区的大小
`15`（默认）|正整数

`initalstepsize.`-初始步长
`'汽车'`（默认）|积极的真正的标量

`LineSearchMethod`-线搜索方法
`'弱狼'`（默认）|`'strongwolfe'`|`“回溯”`

`MaxLinesearch录制`-最大行搜索迭代次数
`20.`（默认）|正整数

`梯度特拉`-相对收敛公差
`1E-6`（默认）|积极的真正的标量

`InitialLearningRate`-初始学习率`'SGD'`求解器
`'汽车'`（默认）|积极的真正的标量

`MiniBatchSize`-在每批中使用的观察数`'SGD'`求解器
分钟(10,N.的）（默认）|正整数，取值范围为1 ~N.

`PassLimit`-求解器的最大通道数`'SGD'`
`5.`（默认）|正整数

`Numprint.`-用于显示收敛摘要的批次频率
10（默认）|正整数的值

`numtuning韵`-调整迭代次数
20.（默认）|正整数

`TuningSubsetSize`-用于调整初始学习率的观察数
分钟(100N.的）（默认）|正整数，取值范围为1 ~N.

`IterationLimit`-最大迭代次数
正整数

`StepTolerance.`-步长收敛公差
1E-6（默认）|积极的真正的标量

`MiniBatchLBFGSIterations`-每个小批LBFGS步骤的最大迭代次数
10（默认）|正整数

`mdl`- 回归的邻域分量分析模型
`FeatureSelectionNCARegression`目的