主要内容

fscmrmr

使用最小冗余最大相关性(MRMR)算法对等级特征进行分类

折叠所有页面

语法

idx=fscmrmr（待定，响应名称）
idx=fscmrmr（待定，公式）
idx = fscmrmr(资源描述,Y)
idx=fscmrmr（X，Y）
idx = fscmrmr (＿＿＿、名称、值)
[idx,分数]= fscmrmr (＿＿＿）

描述

idx= fscmrmr (资源描述，ResponseVarName）使用MRMR算法．表资源描述包含预测变量和响应变量ResponseVarName中是响应变量的名称吗资源描述。函数返回idx，包含按预测器重要性排序的预测器指标。您可以使用idx为分类问题选择重要的预测因子。

idx= fscmrmr (资源描述，公式）在变量中指定要考虑的响应变量和预测变量资源描述利用公式．

例子

idx= fscmrmr (资源描述，Y）排名预测资源描述使用响应变量Y．

例子

idx= fscmrmr (X，Y）排名预测X使用响应变量Y．

idx= fscmrmr (＿＿＿，名称、值）除了前面语法中的任何输入参数组合外，还使用一个或多个名称-值对参数指定其他选项。例如，您可以指定先验概率和观测权值。

［idx，分数) = fscmrmr (＿＿＿）也返回预测分数分数．一个较大的得分值表明相应的预测器是重要的。

例子

全部崩溃

打开生活的脚本

加载示例数据。

负载电离层

根据重要性对预测因素进行排序。

[idx,分数]= fscmrmr (X, Y);

创建预测值重要性得分的条形图。

条（分数（idx））xlabel(“预测等级”) ylabel (“预测重要性分数”）

图中包含一个轴对象。axis对象包含一个bar类型的对象。

第一个和第二个最重要的预测因子之间的得分下降幅度较大，而第六个预测因子之后的得分下降幅度相对较小。重要性得分的下降表示特征选择的可信度。因此，大幅下降意味着软件有信心选择最重要的预测值。小幅下降表明预测值重要性的差异不显著。

选择五个最重要的预测因素。在中查找这些预测值的列X．

idx (1:5)
ans=1×55 4 1 7 24

第五栏X最重要的预测因素是什么Y．

打开生活的脚本

通过使用，找到重要的预测因子fscmrmr．然后比较完整的分类模型(使用所有的预测器)和简化模型(使用5个最重要的预测器)的准确性testckfold．

加载census1994数据集。

负载普查1994

表adultdata在里面普查1994包含来自美国人口普查局的人口统计数据，用来预测一个人每年的收入是否超过5万美元。显示表的前三行。

头(adultdata, 3)
ans =3×15表年龄workClass fnlwgt教育education_num marital_status种族职业关系性capital_gain capital_loss hours_per_week native_country薪水  ___ ________________ __________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ ______ 39 State-gov77516单身汉13未婚Adm-clerical家族的白人男性2174 0 40美国< = 50 k 50 Self-emp-not-inc 83311单身汉13 Married-civ-spouse Exec-managerial丈夫13美国白人男性0 0 < = 50 k 38私人2.1565 e + 05 HS-grad 9离婚Handlers-cleaners家族的白人男性40 0 0美国< = 50 k

的输出参数fscmrmr仅包括按函数排序的变量。在将表传递给函数之前，将不希望排序的变量（包括响应变量和权重）移动到表的末尾，以便输出参数的顺序与表的顺序一致。

表中adultdata，第三栏fnlwgt是样品的重量，和最后一栏的重量工资为响应变量。移动fnlwgt左边工资通过使用movevars函数。

adultdata = movevars (adultdata,“fnlwgt”，“之前”，“工资”); 主管（成人数据，3）
ans =3×15表种族性别年龄workClass教育education_num marital_status职业关系capital_gain capital_loss hours_per_week native_country fnlwgt薪水  ___ ________________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ __________ ______ 39 State-gov单身汉13未婚Adm-clerical家族的白人男性2174 0 77516美国< = 50 k 50 Self-emp-not-inc单身汉13 Married-civ-spouse Exec-managerial丈夫白人男性0 0 83311年美国13日< = 50 k 38私人HS-grad 9离婚Handlers-cleaners家族的白人男性40 0 0美国2.1565 e + 05 < = 50 k

对预测者进行排序adultdata．指定的列工资作为响应变量。

[idx,分数]= fscmrmr (adultdata,“工资”，“重量”，“fnlwgt”);

创建预测值重要性得分的条形图。将预测器名称用于x设在标记标签。

条（分数（idx））xlabel(“预测等级”) ylabel (“预测重要性分数”) xticklabels (strrep (adultdata.Properties.VariableNames (idx),“_”，“\ _”))xtickangle（45）

图中包含一个轴对象。axis对象包含一个bar类型的对象。

五个最重要的预测因素是的关系，capital_loss，capital_gain，教育,hours_per_week．

将使用所有预测因子训练的分类树的精度与使用五个最重要预测因子训练的分类树的精度进行比较。

使用默认选项创建分类树模板。

C = templateTree;

定义表tbl1包含所有预测器和表tbl2包括五个最重要的预测因素。

tbl1 = adultdata (:, adultdata.Properties.VariableNames (idx (1:13)));tbl2 = adultdata (:, adultdata.Properties.VariableNames (idx (1:5)));

将分类树模板和两个表传递给testckfold函数。该功能通过重复交叉验证比较两个模型的准确性。指定“替代”、“大”测试一个零假设，即包含所有预测器的模型最多与包含五个预测器的模型一样准确。的“更大的”选项是可用的“测试”是“5 x2t”(5×2配对t测试)或“10 x10t”(10 *重复交叉验证t测试)。

[h，p]=testckfold（C，C，tbl1，tbl2，adultdata.salary，“重量”adultdata.fnlwgt,“替代”，“更大的”，“测试”，“5 x2t”）
h =逻辑0
p = 0.9969

h等于0和p-value几乎等于1，表示拒绝零假设失败。与包含所有预测因素的模型相比，使用包含五个预测因素的模型不会导致准确性的损失。

现在，使用所选的预测器训练分类树。

mdl = fitctree (adultdata,'工资~关系+资本损失+资本收益+教育+每周工时'，．．.“重量”adultdata.fnlwgt)
mdl = ClassificationTree PredictorNames: {1x5 cell} ResponseName: 'salary' CategoricalPredictors: [1 2] ClassNames: [<=50K >50K] ScoreTransform: 'none' NumObservations: 32561属性，方法

输入参数

全部崩溃

样本数据，指定为表。除了字符向量的单元格数组之外，不允许使用多列变量和单元格数组。

每一行的资源描述对应一个观察值，每一列对应一个预测变量。可选地,资源描述可以包含响应变量和观察权值的附加列。

响应变量可以是分类数组、字符或字符串数组、逻辑或数字向量，或字符向量的单元格数组。如果响应变量是一个字符数组，那么响应变量的每个元素必须对应数组的一行。

  • 如果资源描述包含响应变量，并且您希望使用中的所有剩余变量资源描述作为预测器，然后使用ResponseVarName．如果资源描述也包含观察权值，那么您可以通过使用指定权值权重．

  • 如果资源描述包含响应变量，并且您希望仅使用其中剩余变量的一个子集资源描述作为预测器，然后使用公式．

  • 如果资源描述不包含响应变量，则使用Y. 响应变量和资源描述必须有相同的行数。

如果fscmrmr中使用变量的子集资源描述作为预测器，然后函数仅使用子集对预测器进行索引。的值“CategoricalPredictors”名称-值对参数和输出参数idx不要计算函数没有排序的预测器。

fscmrmr认为楠，''(空字符向量),＂＂（空字符串），< >失踪,<未定义>值资源描述对于缺少值的响应变量。fscmrmr不使用响应变量缺失值的观察结果。

数据类型:桌子

响应变量名，指定为字符向量或字符串标量，其中包含资源描述．

例如，如果响应变量是列Y的资源描述（资源描述。Y)，然后指定ResponseVarName作为“是的”．

数据类型:字符|字符串

解释模型的响应变量和预测变量的子集，指定为字符向量或字符串标量的形式'Y ~ x1 + x2 + x3'．在这种形式,Y表示响应变量，和x1，x2,x3表示预测变量。

在中指定变量子集的步骤资源描述作为预测者，使用一个公式。如果你指定一个公式，那么fscmrmr没有对任何变量进行排序资源描述没有出现在公式．

公式中的变量名必须是公式中的两个变量名资源描述（Tbl.Properties.VariableNames)和有效的MATLAB®标识符。您可以在中验证变量名资源描述通过使用isvarname函数。如果变量名无效，则可以使用matlab.lang.makeValidName函数。

数据类型:字符|字符串

响应变量，指定为数字、分类或逻辑向量、字符或字符串数组或字符向量的单元格数组。每一行的Y的对应行的标签X．

fscmrmr认为楠，''(空字符向量),＂＂（空字符串），< >失踪,<未定义>值Y丢失值。fscmrmr不使用为Y．

数据类型:单|双|分类|逻辑|字符|字符串|单间牢房

预测器数据，指定为数字矩阵。每行X对应一个观察值，每一列对应一个预测变量。

数据类型:单|双

名称-值参数

指定可选的逗号分隔的字符对名称、值参数。的名字是参数名和价值为对应值。的名字必须出现在引号内。您可以按任意顺序指定多个名称和值对参数，如下所示：Name1, Value1,…,的家．

例子:“分类预测因子”，[12]，“详细”，2将前两个预测器变量指定为分类变量，并将详细级别指定为2。

分类预测器列表，指定为该表中的值之一。

价值 描述
正整数向量

向量中的每一项都是一个指标值，表明相应的预测器是分类的。索引值在1到之间p,在那里p为用于训练模型的预测器数量。

如果fscmrmr使用输入变量的子集作为预测器，然后函数仅使用该子集对预测器进行索引。的CategoricalPredictors值不计算响应变量、观察权重变量或函数不使用的任何其他变量。
逻辑向量

一个真正的条目表示相应的预测值是分类的。向量的长度为p．
字符矩阵 矩阵的每一行都是一个预测变量的名称。名字必须匹配资源描述．用额外的空格填充名字，这样字符矩阵的每一行都有相同的长度。
字符向量的字符串数组或单元格数组 数组中的每个元素都是一个预测变量的名称。名字必须匹配资源描述．
“全部” 所有的预测都是绝对的。

默认情况下，如果预测器数据在表中(资源描述),fscmrmr如果一个变量是逻辑向量、无序分类向量、字符数组、字符串数组或字符向量的单元格数组，则假设它是类别变量。如果预测数据是一个矩阵(X),fscmrmr假设所有预测值都是连续的。要将任何其他预测值识别为分类预测值，请使用“CategoricalPredictors”名称-值参数。

例子:“CategoricalPredictors”、“所有”

数据类型:单|双|逻辑|字符|字符串|单间牢房

用于排序的类的名称，指定为逗号分隔对，由“类名”以及类别、字符或字符串数组、逻辑或数字向量或字符向量的单元格数组。一会必须具有相同的数据类型Y或者是响应变量资源描述．

如果一会是字符数组，则每个元素必须与数组的一行相对应。

使用“类名”致：

  • 指定的顺序之前与类顺序相对应的维度。

  • 选择一个类的子集进行排名。例如，假设集合中所有不同的类名Y是{' a ', ' b ', ' c '}．使用来自类的观察结果对预测器进行排序“一个”和“c”只是,指定“类名”,{' a ', ' c '}．

的默认值“类名”是否包含所有不同的类名Y或者是响应变量资源描述.默认值“类名”如果响应变量是有序的，则值具有数学顺序。否则，默认值按字母顺序排列。

例子:“类名”,{' b ', ' g '}

数据类型:分类|字符|字符串|逻辑|单|双|单间牢房

每个类别的先验概率，指定为下列之一:

  • 字符向量或字符串标量。

    • “经验”中的响应变量中的类频率确定类概率Y或资源描述. 如果你通过观察权重，fscmrmr使用权重来计算类的概率。

    • “统一”设置所有类的概率相等。

  • 向量(每个类的一个标量值)。的对应元素的类顺序“之前”,设置“类名”名称-值参数。

  • 结构年代两个字段。

    • S.ClassNames将类名包含为与响应变量相同类型的变量Y或资源描述．

    • S.ClassProbs包含相应概率的向量。

fscmrmr将每个类别的权重归一化(“重量”)将各类别的先验概率值相加。

例子:“前”、“制服”

数据类型:字符|字符串|单|双|结构

用于指示是否使用或放弃预测器中缺少的值，指定为逗号分隔对，由“UseMissing”,要么真正的使用或错误的为了排名而丢弃预测器中缺失的值。

fscmrmr认为楠，''(空字符向量),＂＂（空字符串），< >失踪,<未定义>值将是缺少的值。

如果您指定“UseMissing”,真的然后fscmrmr使用缺失值进行排名。对于分类变量，fscmrmr将丢失的值作为额外的类别处理。对于连续变量，fscmrmr的地方楠值放在单独的容器中进行分类。

如果您指定“UseMissing”,假的然后fscmrmr不使用缺失值进行排名。因为fscmrmr计算每对变量的互信息，当行中的值部分丢失时，函数不会丢弃整个行。fscmrmr使用不包括丢失值的所有对值。

例子:“UseMissing”,真的

数据类型:逻辑

详细程度，指定为逗号分隔对，由“详细”和一个非负整数。的价值冗长的控制软件在命令窗口中显示的诊断信息的数量。

  • 0 -fscmrmr不显示任何诊断信息。

  • 1 -fscmrmr显示计算消耗的时间互信息和排名预测。

  • ≥2 -fscmrmr显示与计算互信息相关的耗时和更多消息。信息的数量随着你的增加而增加“详细”价值。

例子:“详细”,1

数据类型:单|双

观察权值，指定为逗号分隔的对，由“重量”和标量值或变量名的向量资源描述．函数对每一行的观测值进行加权X或资源描述在中具有相应的值权重．的大小权重必须等于中的行数X或资源描述．

如果您将输入数据指定为表资源描述然后权重可以是变量的名称资源描述它包含一个数字向量。在这种情况下，您必须指定权重作为字符向量或字符串标量。例如，如果权值向量是列W的资源描述（资源描述。W)，然后指定“权重”W”．

fscmrmr对每个类别的权重进行归一化，使其与各自类别的先验概率值相加。

数据类型:单|双|字符|字符串

输出参数

全部崩溃

预测指标X或资源描述根据预测器的重要性排序，返回为1-by-r数字向量，其中r是排名预测者的数量。

如果fscmrmr中使用变量的子集资源描述作为预测器，然后函数仅使用子集对预测器进行索引。例如,假设资源描述包含10列，并指定的最后5列资源描述作为预测变量使用公式．如果idx (3)是5，第三个最重要的预测是第10列资源描述，这是子集中的第五个预测器。

预测器得分，以1-by-返回r数字向量，其中r是排名预测者的数量。

一个较大的得分值表明相应的预测器是重要的。此外，特征重要性得分的下降表示特征选择的置信度。例如，如果软件有信心选择一个特性x，则下一个最重要特征的得分值远小于的得分值x．

  • 如果你使用X指定预测器或使用。中的所有变量资源描述作为预测器，然后是值分数与中的预测值具有相同的顺序X或资源描述．

  • 如果你指定变量的子集资源描述作为预测器，然后是值分数具有与子集相同的顺序。

例如,假设资源描述包含10列，并指定的最后5列资源描述作为预测变量使用公式．然后,分数(3)中第8列的得分值资源描述，它是子集中的第三个预测因子。

更多关于

全部崩溃

互信息

两个变量之间的互信息衡量的是，通过了解另一个变量，一个变量的不确定性可以减少多少。

的互信息我离散随机变量的性质X和Z被定义为

我 （ X ， Z ） ＝ ∑ 我 ， j P （ X ＝ x 我 ， Z ＝ z j ） 日志 P （ X ＝ x 我 ， Z ＝ z j ） P （ X ＝ x 我 ） P （ Z ＝ z j ） ．

如果X和Z那么，你是独立的吗我= 0。如果X和Z是同一个随机变量，那么我等于X．

的fscmrmr函数使用这个定义来计算分类(离散)和连续变量的互信息值。fscmrmr将一个连续变量离散为256个箱子或变量中唯一值的数量，如果它小于256。该函数使用自适应算法为每一对变量找到最优的二元容器［２］．

算法

全部崩溃

MRMR (Minimum Redundancy Maximum Relevance)算法

MRMR算法［1］找出一组相互的、最大不相似的、能有效表示响应变量的最优特征。该算法使特征集的冗余最小化，使特征集与响应变量的相关性最大化。该算法利用变量的互信息——特征的成对互信息和特征与响应的互信息来量化冗余度和相关性。你可以用这个算法来解决分类问题。

MRMR算法的目标是找到一个最优集年代最大化的特性V年代的相关性年代对于响应变量y,最大限度地减少W年代，冗余年代,在那里V年代和W年代定义与互信息我：

V 年代 ＝ 1 | 年代 | ∑ x ∈ 年代 我 （ x ， y ） ，

W 年代 ＝ 1 | 年代 | 2 ∑ x ， z ∈ 年代 我 （ x ， z ） ．

|的|功能的数量在吗年代．

寻找最优集年代需要考虑所有2|Ω|组合,Ω是整个功能集。相反，MRMR算法通过前向加法方案对特征进行排序，这需要O(|Ω|·|年代|)计算，使用互信息商(MIQ)值。

进行筛选 x ＝ V x W x ，

在哪里Vx和Wx分别是特征的相关性和冗余：

V x ＝ 我 （ x ， y ） ，

W x ＝ 1 | 年代 | ∑ z ∈ 年代 我 （ x ， z ） ．

的fscmrmr功能排名所有功能Ω返回idx(根据特征重要性排序的特征指数)。因此，计算成本就变成O(|Ω|2）. 该函数使用启发式算法量化特征的重要性，并返回分数．一个较大的得分值表明相应的预测器是重要的。此外，特征重要性得分的下降表示特征选择的置信度。例如，如果软件有信心选择一个特性x，则下一个最重要特征的得分值远小于的得分值x．您可以使用输出来找到最优集年代对于给定数量的特性。

fscmrmr排名特点如下:

  1. 选择相关性最大的特征， 最大值 x ∈ Ω V x . 将所选要素添加到一个空集年代．

  2. 在的补语中找出非零相关和零冗余的特征年代，年代c．

    • 如果年代c不包含具有非零相关性和零冗余的特性，请转到步骤4。

    • 否则，选择相关性最大的特征， 最大值 x ∈ 年代 c ， W x ＝ 0 V x ．将选定的特性添加到集合中年代．

  3. 重复步骤2，直到所有特性的冗余不为零年代c．

  4. 中具有非零相关性和非零冗余的MIQ值最大的特征年代c，并将所选特性添加到集合中年代．

    最大值 x ∈ 年代 c 进行筛选 x ＝ 最大值 x ∈ 年代 c 我 （ x ， y ） 1 | 年代 | ∑ z ∈ 年代 我 （ x ， z ） ．

  5. 重复步骤4，直到中所有功能的相关性为零年代c．

  6. 添加与之无关的特性年代以随机顺序。

如果无法找到满足步骤中描述的条件的特性，软件可以跳过任何步骤。

兼容性的考虑

全部展开

行为在R2020a中改变

参考文献

[1] Ding, C.和H. Peng。从微阵列基因表达数据中选择最小冗余特征生物信息学与计算生物学杂志。第3卷第2期，2005年，185-205页。

Darbellay, g.a.，和I. Vajda。通过对观测空间的自适应划分来估计信息。IEEE信息理论汇刊。第45卷第4期，1999年，第1315-1321页。

另见

|||

话题

介绍了R2019b

统计和机器学习工具箱文档

金宝app

掌握机器学习:一步一步的指导与MATLAB

掌握机器学习:一步一步的指导与MATLAB

下载电子书