邻域分量分析(NCA)特征选择- MATLAB & Simulink - MathWorks Australia金宝app

邻域成分分析（NCA）特征选择

邻域分量分析(NCA)是一种非参数的特征选择方法，其目标是最大限度地提高回归和分类算法的预测精度。统计和机器学习工具箱™函数fscnca和fsrnca通过正则化执行NCA特征选择，学习特征权重，以最小化目标函数，该目标函数测量训练数据上的平均遗漏分类或回归损失。

用于分类的NCA特征选择

考虑一个训练集包含的多类分类问题n观察:

$\begin{array}{l} 年代＝｛（ x_{我} ， y_{我} ），我＝ 1 ， 2 ，．．．， n ｝ \end{array} ，$

在哪里 $x_{我} \in ℝ^{p}$ 是特征向量， $y_{我} \in ｛ 1 ， 2 ，．．．， c ｝$ 是类标签，以及c为类数。目的是学习分类器 $f ： ℝ^{p} \to ｛ 1 ， 2 ，．．．， c ｝$ 它接受一个特征向量并做出预测 $f （ x ）$ 真正的标签 $y$ 属于 $x$ ．

考虑一个随机分类器:

随机选择一个点， $裁判（ x ）$ ,从 $年代$ 作为“参考点” $x$
标签 $x$ 使用参考点的标签 $裁判（ x ）$ ．

该方案类似于1-NN分类器，其中参考点被选择为新点的最近邻居 $x$ 。在NCA中，参考点是随机选择的，并且 $年代$ 有一定的概率被选为参考点。的概率 $P （裁判（ x ）＝ x_{j} | 年代）$ 那一点 $x_{j}$ 选自 $年代$ 作为参考点 $x$ 如果 $x_{j}$ 更接近于 $x$ 由距离函数测量 $d_{w}$ ,在那里

$d_{w} （ x_{我} ， x_{j} ）＝ \sum_{r ＝ 1}^{p} w_{r}^{2} | x_{我 r} - x_{j r} | ，$

和 $w_{r}$ 是特征权重。假设

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代） \propto k （ d_{w} （ x ， x_{j} ）） \end{array} ，$

在哪里 $k$ 是否某个核函数或相似函数在什么时候假设值很大 $d_{w} （ x ， x_{j} ）$ 它很小。假设它是

$k （ z ）＝经验值（ - \frac{z}{σ} ），$

书中建议的那样[1]．参考点 $x$ 选择从 $年代$ ，所以求和 $P （裁判（ x ）＝ x_{j} | 年代）$ 对所有j必须等于1。因此，可以写入

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代）＝ \frac{k （ d_{w} （ x ， x_{j} ））}{\sum_{j ＝ 1}^{n} k （ d_{w} （ x ， x_{j} ））} \end{array} ．$

现在考虑这个随机分类器的省略一应用，即预测的标签 $x_{我}$ 使用 ${年代}^{- 我}$ ，训练集 $年代$ 不包括的 $（ x_{我} ， y_{我} ）$ . 这一点的概率 $x_{j}$ 被选为的参考点 $x_{我}$ 是

$p_{我 j} ＝ P （裁判（ x_{我} ）＝ x_{j} | {年代}^{- 我} ）＝ \frac{k （ d_{w} （ x_{我} ， x_{j} ））}{\sum_{j ＝ 1 ， j \neq 我}^{n} k （ d_{w} （ x_{我} ， x_{j} ））} ．$

正确分类的平均漏掉概率为 $p_{我}$ 随机分类器对观察结果进行正确分类我使用 ${年代}^{- 我}$ ．

$\begin{array}{l} p_{我} ＝ \sum_{j ＝ 1 ， j \neq 我}^{n} P （裁判（ x_{我} ）＝ x_{j} | {年代}^{- 我} ）我（ y_{我} ＝ y_{j} ） \end{array} ＝ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} ，$

在哪里

$y_{我 j} ＝我（ y_{我} ＝ y_{j} ）＝｛ \begin{matrix} 1 & 如果 y_{我} ＝ y_{j ，} \\ 0 & 否则． \end{matrix}$

使用随机分类器进行正确分类的平均漏一概率为

$F （ w ）＝ \frac{1}{n} \sum_{我＝ 1}^{n} p_{我} ．$

右边的 $F （ w ）$ 取决于权重向量 $w$ ．邻域分量分析的目标是最大化 $F （ w ）$ 关于 $w$ ．fscnca使用中介绍的正则化目标函数[1]．

$\begin{array}{l} F （ w ） & ＝ \frac{1}{n} \sum_{我＝ 1}^{n} p_{我} - λ \sum_{r ＝ 1}^{p} w_{r}^{2} \\ ＝ \frac{1}{n} \sum_{我＝ 1}^{n} \underset{F_{我} （ w ）}{\underset{︸}{［ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} - λ \sum_{r ＝ 1}^{p} w_{r}^{2} ］}} \\ ＝ \frac{1}{n} \sum_{我＝ 1}^{n} F_{我} （ w ） \end{array} ，$

在哪里 $λ$ 是正则化参数。正则化项驱动了中的许多权重 $w$ 到0。

选择内核参数后 $σ$ 在 $p_{我 j}$ 作为1，求权向量 $w$ 可以表示为以下给定条件下的最小化问题 $λ$ ．

$\overset{＾}{w} ＝ \underset{w}{阿明} f （ w ）＝ \underset{w}{阿明} \frac{1}{n} \sum_{我＝ 1}^{n} f_{我} （ w ），$

在哪里f（w) = -F（w）和f_我（w) = -F_我（w）．

请注意,

$\frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} ＝ 1 ，$

最小值的参数不变如果你给目标函数加一个常数。因此，您可以通过添加常数1来重写目标函数。

$\begin{matrix} \overset{＾}{w} ＝ \underset{w}{阿明} ｛ 1 + f （ w ）｝ \\ ＝ \underset{w}{阿明} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} - \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} + λ \sum_{r ＝ 1}^{p} w_{r}^{2} ｝ \\ ＝ \underset{w}{阿明} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} （ 1 - y_{我 j} ） + λ \sum_{r ＝ 1}^{p} w_{r}^{2} ｝ \\ ＝ \underset{w}{阿明} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} l （ y_{我} ， y_{j} ） + λ \sum_{r ＝ 1}^{p} w_{r}^{2} ｝， \end{matrix}$

其中损失函数定义为

$l （ y_{我} ， y_{j} ）＝｛ \begin{matrix} 1 & 如果 y_{我} \neq y_{j ，} \\ 0 & 否则． \end{matrix}$

最小值的参数是使分类错误最小化的权重向量损失函数的调用中的名称-值对参数fscnca．

回归的NCA特征选择

的fsrnca函数执行修正后用于回归的NCA特征选择。鉴于n观察

$\begin{array}{l} 年代＝｛（ x_{我} ， y_{我} ），我＝ 1 ， 2 ，．．．， n ｝ \end{array} ，$

唯一不同于分类问题的是响应值 $y_{我} \in ℝ$ 是连续的。在这种情况下，目的是预测响应 $y$ 给定训练集 $年代$ ．

考虑一个随机回归模型:

随机选取一个点( $裁判（ x ）$ ) $年代$ 作为“参考点” $x$
将响应值设置为 $x$ 等于参考点的响应值 $裁判（ x ）$ ．

再一次的概率 $P （裁判（ x ）＝ x_{j} | 年代）$ 那一点 $x_{j}$ 选自 $年代$ 作为参考点 $x$ 是

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代）＝ \frac{k （ d_{w} （ x ， x_{j} ））}{\sum_{j ＝ 1}^{n} k （ d_{w} （ x ， x_{j} ））} \end{array} ．$

现在考虑一下这个随机回归模型的省略一的应用，即预测对 $x_{我}$ 使用 ${年代}^{- 我}$ ，训练集 $年代$ 不包括的 $（ x_{我} ， y_{我} ）$ . 这一点的概率 $x_{j}$ 被选为的参考点 $x_{我}$ 是

允许 ${\overset{＾}{y}}_{我}$ 为随机回归模型预测的响应值和 $y_{我}$ 成为真正的回应 $x_{我}$ ．,让 $l ： ℝ^{2} \to ℝ$ 是一种损失函数，用来衡量两者之间的分歧 ${\overset{＾}{y}}_{我}$ 和 $y_{我}$ ．然后，取平均值 $l （ y_{我} ， {\overset{＾}{y}}_{我} ）$ 是

$l_{我} ＝ E （ l （ y_{我} ， {\overset{＾}{y}}_{我} ） | {年代}^{- 我} ）＝ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} l （ y_{我} ， y_{j} ）．$

添加正则化项后，最小化的目标函数为：

$f （ w ）＝ \frac{1}{n} \sum_{我＝ 1}^{n} l_{我} + λ \sum_{r ＝ 1}^{p} w_{r}^{2} ．$

默认损失函数 $l （ y_{我} ， y_{j} ）$ 用于回归的NCA是平均绝对偏差，但您可以指定其他损失函数，包括自定义函数，使用损失函数的调用中的名称-值对参数fsrnca．

标准化的影响

正则化项将无关预测器的权重导出为零。在NCA分类或回归的目标函数中，只有一个正则化参数 $λ$ 对于所有权重。这一事实要求权重的大小彼此可比。当特征向量 $x_{我}$ 在 $年代$ 在不同的标度中，这可能会导致权重在不同的标度中并且没有意义。为了避免这种情况，请在应用NCA之前将预测值标准化为零平均值和单位标准偏差。您可以使用“标准化”,真的的调用中的名称-值对参数fscnca或fsrnca．