relieff

使用ReliefF或RReliefF算法对预测因子的重要性进行排序

页面上倒塌

语法

[IDX，权重] = Relieff（x，y，k）

[IDX，权重] = Relieff（x，y，k，名称，值）

描述

［idx.，重量] = recieff（X，y，k）使用ReliefF或RReliefF算法对预测因子进行排序k最近的邻居。输入矩阵X包含预测变量和向量y包含响应向量。函数返回idx.，其中包含最重要的预测因素的指标，以及重量，其中包含预测器的权重。

如果y是数字,relieff默认情况下对回归进行RRELIEFF分析。否则,relieff执行使用的Creieff分析k每个班级最接近的邻居。有关ReliefF和RReliefF的更多信息，请参见算法．

例子

［idx.，重量] = recieff（X，y，k，名称,值）使用一个或多个名称值对参数指定其他选项。例如，'更新'，10将用于计算权重的随机选择的观察数设置为10。

例子

全部折叠

确定重要的预测因子

打开直播脚本

加载样本数据。

负载fisheriris

使用10个最近的邻居找到重要的预测因子。

[idx、重量]= relieff(量、种类、10)

Idx =.1×44 3 1 2

重量=1×40.1399 0.1226 0.3590 0.3754

idx.显示根据其排名列出的预测值。第四个预测器是最重要的，第二个预测器是最不重要的。重量以与预测器相同的顺序给出权重值。第一预测器的重量为0.1399，第四预测器的重量为0.3754。

根据重要性对预测因素进行排名

打开直播脚本

加载样本数据。

负载电离层

使用10个最近邻根据重要性对预测因子进行排名。

[IDX，权重] = Relieff（x，y，10）;

创建一个预测器重要权重的条形图。

栏(权重(idx))包含(“预测排名”）ylabel（的预测指标的重要性权重）

图中包含一个坐标轴。坐标轴包含bar类型的对象。

选择前5名最重要的预测因子。找到这些预测器的列X．

IDX（1：5）

ans =1×524 3 8 5 14

第24栏X是最重要的预测因子Y．

确定重要的分类预测因素

打开直播脚本

使用分类预测器进行排序relieff．

加载样本数据。

负载CARBIG.

转换分类预测变量MFG.，模型，和起源转换为数值，并将它们组合成一个输入矩阵。指定响应变量MPG.．

X = [grp2idx(Mfg) grp2idx(Model) grp2idx(Origin)];y = MPG;

使用10个最近的邻居找到预测变量的排名和权重，并处理数据X分类。

[Idx，权重] = Relieff（x，y，10，“categoricalx”，“上”）

Idx =.1×31 2 3

重量=1×3-0.0019 0.0501 0.0114

的模型预测器是预测中最重要的MPG.．的MFG.变量的权重为负，说明它不是一个很好的预测变量MPG.．

输入参数

全部折叠

`X`- - - - - -预测数据
数字矩阵

预测器数据，指定为数字矩阵。每一行的X对应一个观察值，每一列对应一个变量。

数据类型：单身|双人间

`y`- - - - - -响应数据
数字矢量|分类向量|逻辑矢量|字符阵列|字符串数组|字符向量的单元格阵列

响应数据，指定为数字向量，分类矢量，逻辑向量，字符数组，字符串数组或字符向量的单元数组。

数据类型：单身|双人间|分类|逻辑|字符|串|细胞

`k`- - - - - -最近邻数
正整数标量

最近邻居的数量，指定为正整数标量。

数据类型：单身|双人间

名称-值对的观点

指定可选的逗号分隔的对名称,值参数。名称参数名和价值是相应的价值。名称必须出现在引号内。可以以任意顺序指定多个名称和值对参数Name1, Value1,…,的家．

例子:relieff (X, y, 5,“方法”,“分类”、“categoricalx”,“上”)指定5个最近的邻居，并将响应变量和预测数据视为分类。

`“方法”`- - - - - -计算权重的方法
`“回归”`|`'分类'`

计算权重的方法，指定为包括的逗号分隔对“方法”,要么“回归”或者'分类'．如果y是数字,“回归”是默认方法。否则,'分类'是默认的。

例子:“方法”、“分类”

`“之前”`- - - - - -每个班级的概率
`'经验性'`（默认）|`'制服'`|数字矢量|结构

每个类的先前概率，指定为逗号分隔的配对组成“之前”和这个表中的值。

价值	描述
`'经验性'`	类的概率是由类的频率决定的`y`．
`'制服'`	所有类别的概率都是相等的。
数字矢量	每个不同的组名都有一个值。
结构	一个结构`年代`两个字段: `S.Group.`将组名包含为与`y`． `S.prob`包含相应概率向量。

例子:'先前'，'制服'

数据类型：单身|双人间|字符|串|结构体

`“更新”`- - - - - -计算权重观察数
`“所有”`（默认）|正整数标量

用于计算权重的随机选择的观察次数，指定为逗号分隔的对“更新”,要么“所有”或正整数标量。默认情况下，relieff使用所有的观察。

例子:'更新'，25

数据类型：单身|双人间|字符|串

`“categoricalx”`- - - - - -分类预测因子标志
`“关闭”`（默认）|`“上”`

分类预测器标志，指定为逗号分隔对，由“categoricalx”,要么“上”或者“关闭”．如果您指定“上”,然后relieff处理所有的预测X分类。否则，它将处理所有的预测器X作为数字。您无法混合数字和分类预测器。

例子:'patericalx'，'开'

`“σ”`- - - - - -距离缩放因子
数字积极标量

距离缩放因子，指定为逗号分隔对，由“σ”和一个数字正标量。对于观察我，对其最近邻居的预测重量的影响j乘以 $e^{- {（排名（我， j ） / σ)}^{2}}$ ．排名（我，j）是这个位置j在最近的邻居中观察我观察，按距离排序。默认值是正用于分类(所有最近邻具有相同的影响)和50用于回归。

例子:“σ”,20

数据类型：单身|双人间

输出参数

全部折叠

`idx.`-按预测器重要性排序的预测器指数
数字矢量

预测指标X按预测器的重要性排序，作为数字向量返回。例如,如果idx (3)是5，第三个最重要的预测是第五列X．

数据类型：双人间

`重量`- 预测器的重量
数字矢量

预测器的权值，以数字向量的形式返回。中的值重量和预测数的顺序一样X．重量范围从-1到目前为止1，为重要的预测因子分配较大的正权重。

数据类型：双人间

提示

预测者的等级和权重通常取决于k．如果你设置k到1，那么对于噪声数据，估计可能是不可靠的。如果你设置k与观察数（行）相当的值X，relieff无法找到重要的预测因素。你可以从k＝10.并调查稳定性和可靠性relieff各种值的等级和权重k．
relieff除去观察南价值观。

算法

全部折叠

refieff.

ReliefF在以下情况下找到预测因子的权重y是一个多级别分类变量。该算法通过给同一类的邻居提供不同值的预测器，以及向不同类别的邻居提供不同值的奖励预测器。

ReliefF首先设定所有预测器的权重W_j为0。然后，算法迭代选取随机观测值x_r,发现k- 最终观察到x_r对于每个班级和更新，对于每个最近的邻居x_问，所有的权重为预测F_j如下:

如果x_r和x_问都在同一个班级，

$W_{j}^{我} ＝ W_{j}^{我 - 1} - \frac{Δ_{j} （ x_{r} ， x_{问} ）}{米} \cdot d_{r 问} ．$

如果x_r和x_问在不同的班级，

$W_{j}^{我} ＝ W_{j}^{我 - 1} + \frac{p_{y_{问}}}{1 - p_{y_{r}}} \cdot \frac{Δ_{j} （ x_{r} ， x_{问} ）}{米} \cdot d_{r 问} ．$

W_j^我是预测器的重量F_j在我迭代步骤。
p_{y_r}这类的先验概率是哪个x_r属于和p_{y_问}这类的先验概率是哪个x_问属于。
米是指定的迭代次数“更新”．
$Δ_{j} （ x_{r} ， x_{问} ）$ 这是预测值的差异吗F_j在观察之间x_r和x_问．让我们x_rj.表示的值j预测者观察x_r,让x_QJ.表示的值j预测者观察x_问．
- 对于离散F_j，
  
  $Δ_{j} （ x_{r} ， x_{问} ）＝｛ \begin{matrix} 0 ， & x_{r j} ＝ x_{问 j} \\ 1 ， & x_{r j} \neq x_{问 j} \end{matrix} ．$
- 连续F_j，
  
  $Δ_{j} （ x_{r} ， x_{问} ）＝ \frac{| x_{r j} - x_{问 j} |}{马克斯（ F_{j} ） - 闵（ F_{j} ）} ．$
d_rq.是表单的距离功能

$d_{r 问} ＝ \frac{{\overset{〜}{d}}_{r 问}}{{σ.}_{l ＝ 1}^{k} {\overset{〜}{d}}_{r l}} ．$

这个距离受比例的影响

${\overset{〜}{d}}_{r 问} ＝ e^{- {（排名（ r ，问） / σ)}^{2}}$

在哪里排名（r，问）是这个位置问在最近的邻居中观察r观察，按距离排序。k最近邻的数目，由k．您可以通过指定来改变缩放“σ”．

RReliefF

RReliefF的工作是连续的y．与ReliefF类似，RReliefF也会惩罚给予相同反应值的邻居不同值的预测器，并奖励给予不同反应值的邻居不同值的预测器。然而，RReliefF使用中间权重来计算最终的预测权重。

给定两个最近的邻居，假设如下:

W_dy是对响应具有不同值的重量y．
W_dj预测器的权重是否有不同的值F_j．
$W_{d y \land d j}$ 是否有不同的响应值和不同的预测值的权重F_j．

RReliefF首先设定重量W_dy，W_dj， $W_{d y \land d j}$ ，和W_j等于0.然后，算法迭代地选择随机观察x_r,发现k- 最终观察到x_r，并更新每个最近的邻居x_问，所有中间权重如下:

$W_{d y}^{我} ＝ W_{d y}^{我 - 1} + Δ_{y} （ x_{r} ， x_{问} ） \cdot d_{r 问} ．$

$W_{d j}^{我} ＝ W_{d j}^{我 - 1} + Δ_{j} （ x_{r} ， x_{问} ） \cdot d_{r 问} ．$

$W_{d y \land d j}^{我} ＝ W_{d y \land d j}^{我 - 1} + Δ_{y} （ x_{r} ， x_{问} ） \cdot Δ_{j} （ x_{r} ， x_{问} ） \cdot d_{r 问} ．$

的我和我-1上标表示迭代步骤编号。米是指定的迭代次数“更新”．
$Δ_{y} （ x_{r} ， x_{问} ）$ 连续响应值的差值是多少y在观察之间x_r和x_问．让我们y_r表示观察响应的值x_r,让y_问表示观察响应的值x_问．

$Δ_{y} （ x_{r} ， x_{问} ）＝ \frac{| y_{r} - y_{问} |}{马克斯（ y ） - 闵（ y ）} ．$
的 $Δ_{j} （ x_{r} ， x_{问} ）$ 和d_rq.功能与其相同refieff.．

RReliefF计算预测器的权重W_j在完全更新所有中间权重之后。

$W_{j} ＝ \frac{W_{d y \land d j}}{W_{d y}} - \frac{W_{d j} - W_{d y \land d j}}{米 - W_{d y}} ．$

有关更多信息，请参见［2］．

参考文献

I.， E. Simec, M. Robnik-Sikonja。(1997)。“用RELIEFF克服归纳学习算法的短视。”从CiteSeerX检索:https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.56.4740

Robnik-Sikonja, M.和I. Kononenko。(1997)。" Relief在回归中用于属性估计的适应性"从CiteSeerX检索:https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.34.8381

[3] Robnik-Sikonja，M.和I. Kononenko。（2003）。“Relieff和Rrelieff的理论和实证分析”。机器学习现年53岁的23 - 69。

另请参阅

主题

介绍了R2010b

relieff

语法

描述

例子

确定重要的预测因子

根据重要性对预测因素进行排名

确定重要的分类预测因素

输入参数

`X`- - - - - -预测数据
数字矩阵

`y`- - - - - -响应数据
数字矢量|分类向量|逻辑矢量|字符阵列|字符串数组|字符向量的单元格阵列

`k`- - - - - -最近邻数
正整数标量

名称-值对的观点

`“方法”`- - - - - -计算权重的方法
`“回归”`|`'分类'`

`“之前”`- - - - - -每个班级的概率
`'经验性'`（默认）|`'制服'`|数字矢量|结构

`“更新”`- - - - - -计算权重观察数
`“所有”`（默认）|正整数标量

`“categoricalx”`- - - - - -分类预测因子标志
`“关闭”`（默认）|`“上”`

`“σ”`- - - - - -距离缩放因子
数字积极标量

输出参数

`idx.`-按预测器重要性排序的预测器指数
数字矢量

`重量`- 预测器的重量
数字矢量

提示

算法

refieff.

RReliefF

参考文献

另请参阅

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习:一步一步的指导与MATLAB

relieff

语法

描述

例子

确定重要的预测因子

根据重要性对预测因素进行排名

确定重要的分类预测因素

输入参数

X- - - - - -预测数据数字矩阵

y- - - - - -响应数据数字矢量|分类向量|逻辑矢量|字符阵列|字符串数组|字符向量的单元格阵列

k- - - - - -最近邻数正整数标量

名称-值对的观点

“方法”- - - - - -计算权重的方法“回归”|'分类'

“之前”- - - - - -每个班级的概率'经验性'（默认）|'制服'|数字矢量|结构

“更新”- - - - - -计算权重观察数“所有”（默认）|正整数标量

“categoricalx”- - - - - -分类预测因子标志“关闭”（默认）|“上”

“σ”- - - - - -距离缩放因子数字积极标量

输出参数

idx.-按预测器重要性排序的预测器指数数字矢量

重量- 预测器的重量数字矢量

提示

算法

refieff.

RReliefF

参考文献

另请参阅

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习:一步一步的指导与MATLAB

`X`- - - - - -预测数据
数字矩阵

`y`- - - - - -响应数据
数字矢量|分类向量|逻辑矢量|字符阵列|字符串数组|字符向量的单元格阵列

`k`- - - - - -最近邻数
正整数标量

`“方法”`- - - - - -计算权重的方法
`“回归”`|`'分类'`

`“之前”`- - - - - -每个班级的概率
`'经验性'`（默认）|`'制服'`|数字矢量|结构

`“更新”`- - - - - -计算权重观察数
`“所有”`（默认）|正整数标量

`“categoricalx”`- - - - - -分类预测因子标志
`“关闭”`（默认）|`“上”`

`“σ”`- - - - - -距离缩放因子
数字积极标量

`idx.`-按预测器重要性排序的预测器指数
数字矢量

`重量`- 预测器的重量
数字矢量