邻域分量分析(NCA)特征选择- MATLAB & Simulink - MathWorks瑞士金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

邻域分量分析（NCA）功能选择

邻域分量分析(NCA)是一种非参数的特征选择方法，其目标是最大限度地提高回归和分类算法的预测精度。统计和机器学习工具箱™函数fscnca和FSRNCA使用正则化执行NCA功能选择，以了解要最小化目标函数的特征权重，以测量培训数据的平均休假分类或回归损失。

用于分类的NCA特征选择

考虑一个训练集包含的多类分类问题n观察:

$\begin{array}{l} 年代＝｛（ x_{我} ， y_{我} ），我＝ 1 ， 2 ，．．. ， n ｝ \end{array} ，$

在哪里 $x_{我} \in ℝ^{p}$ 是特征向量， $y_{我} \in ｛ 1 ， 2 ，．．. ， c ｝$ 是班级标签，还有c为类数。目的是学习分类器 $f ： ℝ^{p} \to ｛ 1 ， 2 ，．．. ， c ｝$ 它接受一个特征向量并做出预测 $f （ x ）$ 对于真正的标签 $y$ 的 $x$ ．

考虑一个随机分类器:

随机选择一个点， $裁判（ x ）$ ,从 $年代$ 作为“参考点” $x$
标签 $x$ 使用参考点的标签 $裁判（ x ）$ ．

该方案类似于1-NN分类器，其中参考点被选择为新点的最近邻居 $x$ ．在NCA中，随机选择参考点，并且所有点 $年代$ 有一定的概率被选为参考点。的概率 $P （裁判（ x ）＝ x_{j} | 年代）$ 那一点 $x_{j}$ 被选中 $年代$ 作为参考点 $x$ 较高的if. $x_{j}$ 更接近于 $x$ 通过距离功能测量 $d_{w}$ ,在那里

$d_{w} （ x_{我} ， x_{j} ）＝ \sum_{r ＝ 1}^{p} w_{r}^{2} | x_{我 r} - x_{j r} | ，$

和 $w_{r}$ 是特征权重。假使，假设

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代） \propto k （ d_{w} （ x ， x_{j} ）） \end{array} ，$

在哪里 $k$ 是否某个核函数或相似函数在什么时候假设值很大 $d_{w} （ x ， x_{j} ）$ 是小。假设是

$k （ z ）＝经验值（ - \frac{z}{σ.} ），$

书中建议的那样[1]．参考点 $x$ 选择从 $年代$ ，所以求和 $P （裁判（ x ）＝ x_{j} | 年代）$ 对所有j必须等于1.因此，可以写入

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代）＝ \frac{k （ d_{w} （ x ， x_{j} ））}{\sum_{j ＝ 1}^{n} k （ d_{w} （ x ， x_{j} ））} \end{array} ．$

现在考虑这个随机分类器的省略一应用，即预测的标签 $x_{我}$ 使用 ${年代}^{- 我}$ ，培训集 $年代$ 不包括的 $（ x_{我} ， y_{我} ）$ ．点的概率 $x_{j}$ 被挑选为参考点 $x_{我}$ 是

$p_{我 j} ＝ P （裁判（ x_{我} ）＝ x_{j} | {年代}^{- 我} ）＝ \frac{k （ d_{w} （ x_{我} ， x_{j} ））}{\sum_{j ＝ 1 ， j \neq 我}^{n} k （ d_{w} （ x_{我} ， x_{j} ））} ．$

正确分类的平均休假概率是概率 $p_{我}$ 随机分类器正确分类观察我使用 ${年代}^{- 我}$ ．

$\begin{array}{l} p_{我} ＝ \sum_{j ＝ 1 ， j \neq 我}^{n} P （裁判（ x_{我} ）＝ x_{j} | {年代}^{- 我} ）我（ y_{我} ＝ y_{j} ） \end{array} ＝ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} ，$

在哪里

$y_{我 j} ＝我（ y_{我} ＝ y_{j} ）＝｛ \begin{matrix} 1 & 如果 y_{我} ＝ y_{j ，} \\ 0 & 除此以外． \end{matrix}$

使用随机分类器进行正确分类的平均漏一概率为

$F （ w ）＝ \frac{1}{n} \sum_{我＝ 1}^{n} p_{我} ．$

右边的 $F （ w ）$ 取决于权重向量 $w$ ．邻域分量分析的目标是最大化 $F （ w ）$ 关于 $w$ ．fscnca使用介绍的正常目标函数[1]．

$\begin{array}{l} F （ w ） & ＝ \frac{1}{n} \sum_{我＝ 1}^{n} p_{我} - λ. \sum_{r ＝ 1}^{p} w_{r}^{2} \\ ＝ \frac{1}{n} \sum_{我＝ 1}^{n} \underset{F_{我} （ w ）}{\underset{︸}{［ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} - λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ］}} \\ ＝ \frac{1}{n} \sum_{我＝ 1}^{n} F_{我} （ w ） \end{array} ，$

在哪里 $λ.$ 是正则化参数。正则化术语驱动许多重量 $w$ 到0。

选择内核参数后 $σ.$ 在 $p_{我 j}$ 为1，找到体重矢量 $w$ 可以表达为给定的以下最小化问题 $λ.$ ．

$\overset{＾}{w} ＝ \underset{w}{argmin.} f （ w ）＝ \underset{w}{argmin.} \frac{1}{n} \sum_{我＝ 1}^{n} f_{我} （ w ），$

在哪里f（w) = -F（w）和f_我（w) = -F_我（w）．

请注意,

$\frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} ＝ 1 ，$

最小值的参数不变如果你给目标函数加一个常数。因此，您可以通过添加常数1来重写目标函数。

$\begin{matrix} \overset{＾}{w} ＝ \underset{w}{argmin.} ｛ 1 + f （ w ）｝ \\ ＝ \underset{w}{argmin.} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} - \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} y_{我 j} + λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ｝ \\ ＝ \underset{w}{argmin.} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} （ 1 - y_{我 j} ） + λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ｝ \\ ＝ \underset{w}{argmin.} ｛ \frac{1}{n} \sum_{我＝ 1}^{n} \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} l （ y_{我} ， y_{j} ） + λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ｝， \end{matrix}$

损失函数定义为

$l （ y_{我} ， y_{j} ）＝｛ \begin{matrix} 1 & 如果 y_{我} \neq y_{j ，} \\ 0 & 除此以外． \end{matrix}$

最小值的参数是最小化分类误差的重量载体。您可以使用使用的自定义丢失功能损失的调用中的名称-值对参数fscnca．

nca回归的功能选择

的FSRNCA函数执行修正后用于回归的NCA特征选择。鉴于n观察

$\begin{array}{l} 年代＝｛（ x_{我} ， y_{我} ），我＝ 1 ， 2 ，．．. ， n ｝ \end{array} ，$

唯一不同于分类问题的是响应值 $y_{我} \in ℝ$ 是连续的。在这种情况下，目的是预测响应 $y$ 鉴于培训集 $年代$ ．

考虑一个随机回归模型:

随机挑选一个点（ $裁判（ x ）$ ) $年代$ 作为“参考点” $x$
将响应值设置为 $x$ 等于参考点的响应值 $裁判（ x ）$ ．

再一次的概率 $P （裁判（ x ）＝ x_{j} | 年代）$ 那一点 $x_{j}$ 被选中 $年代$ 作为参考点 $x$ 是

$\begin{array}{l} P （裁判（ x ）＝ x_{j} | 年代）＝ \frac{k （ d_{w} （ x ， x_{j} ））}{\sum_{j ＝ 1}^{n} k （ d_{w} （ x ， x_{j} ））} \end{array} ．$

现在考虑一下这个随机回归模型的省略一的应用，即预测对 $x_{我}$ 使用 ${年代}^{- 我}$ ，培训集 $年代$ 不包括的 $（ x_{我} ， y_{我} ）$ ．点的概率 $x_{j}$ 被挑选为参考点 $x_{我}$ 是

让 ${\overset{＾}{y}}_{我}$ 为随机回归模型预测的响应值和 $y_{我}$ 成为真正的回应 $x_{我}$ ．,让 $l ： ℝ^{2} \to ℝ$ 是一种损失函数，用来衡量两者之间的分歧 ${\overset{＾}{y}}_{我}$ 和 $y_{我}$ ．然后，取平均值 $l （ y_{我} ， {\overset{＾}{y}}_{我} ）$ 是

$l_{我} ＝ E （ l （ y_{我} ， {\overset{＾}{y}}_{我} ） | {年代}^{- 我} ）＝ \sum_{j ＝ 1 ， j \neq 我}^{n} p_{我 j} l （ y_{我} ， y_{j} ）．$

添加正则化术语后，最小化的目标函数是：

$f （ w ）＝ \frac{1}{n} \sum_{我＝ 1}^{n} l_{我} + λ. \sum_{r ＝ 1}^{p} w_{r}^{2} ．$

默认损失函数 $l （ y_{我} ， y_{j} ）$ 用于回归的NCA是平均绝对偏差，但您可以指定其他损失函数，包括自定义函数，使用损失的调用中的名称-值对参数FSRNCA．

标准化的影响

正则化术语导出无关预测器的重量为零。在NCA进行分类或回归的目标函数中，只有一个正则化参数 $λ.$ 适用于所有重量。该事实要求重物的大小相互彼此相当。当特征向量 $x_{我}$ 在 $年代$ 在不同的尺度中，这可能导致不同尺度的权重，而不是有意义的。为避免这种情况，在应用NCA之前，标准化预测器具有零均值和单位标准偏差。您可以使用该预测器标准化“标准化”,真的的调用中的名称-值对参数fscnca或者FSRNCA．