主要内容

fscmrmr

使用最小冗余最大相关性(MRMR)算法对等级特征进行分类

描述

idx= fscmrmr (TBL.,ResponseVarName使用MRMR算法.表TBL.包含预测变量和响应变量ResponseVarName中是响应变量的名称吗TBL..函数返回idx,包含按预测器重要性排序的预测器指标。您可以使用idx为分类问题选择重要的预测因子。

idx= fscmrmr (TBL.,公式在变量中指定要考虑的响应变量和预测变量TBL.通过使用公式

例子

idx= fscmrmr (TBL.,Y排名预测TBL.使用响应变量Y

例子

idx= fscmrmr (X,Y排名预测X使用响应变量Y

idx= fscmrmr (___,名称,价值除了前面语法中的任何输入参数组合外,还使用一个或多个名称-值对参数指定其他选项。例如,您可以指定先验概率和观测权值。

idx,分数) = fscmrmr (___还返回预测的分数分数.一个较大的得分值表明相应的预测器是重要的。

例子

全部收缩

加载示例数据。

加载电离层

基于重要性对预测器排名。

[idx,分数]= fscmrmr (X, Y);

创建一个预测标志重要分数的条形图。

BAR(分数(IDX))XLABEL('预测的排名') ylabel (“预测重要性分数”

图包含轴对象。轴对象包含类型栏的对象。

第一和第二最重要的预测器之间的分数下降很大,而第六预测器之后的液滴相对较小。重要性评分的下降代表了特征选择的置信度。因此,大幅下降意味着该软件对选择最重要的预测因子有信心。小滴表示预测器重要性的差异并不重要。

选择前五大最重要的预测因子。找到这些预测器的列X

idx (1:5)
ANS =.1×55 4 1 7 24

第五列X最重要的预测因素是什么Y

通过使用,找到重要的预测因子fscmrmr.然后比较完整的分类模型(使用所有的预测器)和简化模型(使用5个最重要的预测器)的准确性testckfold

加载人口普查1994数据集。

加载人口普查1994.

adultdata人口普查1994.包含来自美国人口普查局的人口统计数据,以预测个人每年赚超过50,000美元。显示表的前三行。

头(AdultData,3)
ans =3×15表年龄workClass fnlwgt教育education_num marital_status种族职业关系性capital_gain capital_loss hours_per_week native_country薪水  ___ ________________ __________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ ______ 39 State-gov77516单身汉13未婚Adm-clerical家族的白人男性2174 0 40美国< = 50 k 50 Self-emp-not-inc 83311单身汉13 Married-civ-spouse Exec-managerial丈夫13美国白人男性0 0 < = 50 k 38私人2.1565 e + 05 HS-grad 9离婚Handlers-cleaners家族的白人男性40 0 0美国< = 50 k

的输出参数fscmrmr仅包括函数中排名的变量。在将表传递到函数之前,将不希望在表的末尾进行排名,包括响应变量和权重的变量,以便输出参数的顺序与表的顺序一致。

表中adultdata,第三列fnlwgt.是样品的重量,和最后一栏的重量工资为响应变量。移动fnlwgt.至左侧工资通过使用莫维瓦尔函数。

AdultData = MoveVars(AdultData,'fnlwgt',“之前”,'薪水');头(AdultData,3)
ans =3×15表种族性别年龄workClass教育education_num marital_status职业关系capital_gain capital_loss hours_per_week native_country fnlwgt薪水  ___ ________________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ __________ ______ 39 State-gov单身汉13未婚Adm-clerical家族的白人男性2174 0 77516美国< = 50 k 50 Self-emp-not-inc单身汉13 Married-civ-spouse Exec-managerial丈夫白人男性0 0 83311年美国13日< = 50 k 38私人HS-grad 9离婚Handlers-cleaners家族的白人男性40 0 0美国2.1565 e + 05 < = 50 k

对预测者进行排序adultdata.指定的列工资作为响应变量。

[idx,分数]= fscmrmr (adultdata,'薪水',“重量”,'fnlwgt');

创建一个预测标志重要分数的条形图。使用预测的名称x设在标记标签。

BAR(分数(IDX))XLABEL('预测的排名') ylabel (“预测重要性分数”)XTicklabels(Strrep(Adjordata.properties.variablenames(Idx),“_”,“\ _”))XTickangle(45)

图包含轴对象。轴对象包含类型栏的对象。

五个最重要的预测因素是的关系,capital_loss,capital_gain,教育,每周几小时

比较用所有预测器培训的分类树的准确性,以获得与五个最重要的预测因子接受训练的准确性。

使用默认选项创建分类树模板。

c = templatetree;

定义表格tbl1包含所有预测器和表tbl2包括五个最重要的预测因素。

TBL1 = AdultData(:,AdultData.properties.variablenames(IDX(1:13)));TBL2 = AdultDATA(:,AdultData.properties.variablenames(IDX(1:5))));

将分类树模板和两个表传递给testckfold函数。该功能通过重复交叉验证比较两个模型的准确性。指定“替代”、“大”为了测试所有预测器的模型,最多是与五个预测因子的模型准确的模型。的“更大的”选项是可用的“测试”“5 x2t”(5×2配对t测试)或'10x10t'(10 *重复交叉验证t测试)。

[h,p] = testckfold(c,c,tbl1,tbl2,distractdata.salary,“重量”adultdata.fnlwgt,'选择',“更大的”,“测试”,“5 x2t”
h =逻辑0
p = 0.9969

h等于0和p-Value几乎是1,表明未能拒绝零假设。与五个预测器的使用模型不会导致与所有预测器的模型相比的准确性丢失。

现在使用所选的预测器列出分类树。

mdl = fitctree (adultdata,'薪水〜关系+ capital_loss + capital_gain +教育+ play_per_week',...“重量”adultdata.fnlwgt)
mdl = ClassificationTree PredictorNames: {1x5 cell} ResponseName: 'salary' CategoricalPredictors: [1 2] ClassNames: [<=50K >50K] ScoreTransform: 'none' NumObservations: 32561属性,方法

输入参数

全部收缩

样本数据,指定为表。除了字符向量的单元格数组之外,不允许使用多列变量和单元格数组。

每一排TBL.对应一个观察值,每一列对应一个预测变量。可选地,TBL.可以包含响应变量和观察权值的附加列。

响应变量可以是分类数组、字符或字符串数组、逻辑或数字向量,或字符向量的单元格数组。如果响应变量是一个字符数组,那么响应变量的每个元素必须对应数组的一行。

  • 如果TBL.包含响应变量,您希望使用所有剩余的变量TBL.作为预测器,然后通过使用指定响应变量ResponseVarName.如果TBL.也包含观察权值,那么您可以通过使用指定权值权重

  • 如果TBL.包含响应变量,并且您希望仅使用其中剩余变量的一个子集TBL.作为预测器,然后通过使用指定变量子集公式

  • 如果TBL.不包含响应变量,然后通过使用指定响应变量Y.响应变量和TBL.必须有相同的行数。

如果fscmrmr中使用变量的子集TBL.作为预测器,然后函数仅使用子集对预测器进行索引。的值“CategoricalPredictors”名称-值对参数和输出参数idx不要计算函数没有排序的预测器。

fscmrmr考虑,''(空字符向量),""(空字符串),<缺失>,<未定义>TBL.对于缺少值的响应变量。fscmrmr不使用响应变量缺失值的观察结果。

数据类型:桌子

响应变量名称,指定为包含变量名称的字符向量或字符串标量TBL.

例如,如果响应变量是列YTBL.资源描述。Y),然后指定ResponseVarName作为'是'

数据类型:char|字符串

响应变量的解释模型和预测变量的子集,指定为表单中的字符向量或字符串标量'y〜x1 + x2 + x3'.在这种形式,Y表示响应变量,和x1,x2,x3表示预测变量。

指定变量的子集TBL.作为预测者,使用一个公式。如果你指定一个公式,那么fscmrmr没有对任何变量进行排序TBL.没有出现在公式

公式中的变量名必须是其中的两个变量名TBL.tbl.properties.variablenames.)和有效的MATLAB®标识符。您可以验证变量名TBL.通过使用isvarname函数。如果变量名无效,则可以使用matlab.lang.makeValidName函数。

数据类型:char|字符串

响应变量,指定为数字、分类或逻辑向量、字符或字符串数组或字符向量的单元格数组。每一排Y的对应行的标签X

fscmrmr考虑,''(空字符向量),""(空字符串),<缺失>,<未定义>Y缺少值。fscmrmr不使用为Y

数据类型:||分类|逻辑|char|字符串|细胞

预测数据,指定为数字矩阵。每一排X对应一个观察值,每一列对应一个预测变量。

数据类型:|

名称-值参数

指定可选的逗号分离对名称,价值论点。的名字是参数名称和价值为对应值。的名字必须出现在引号内。您可以以任何顺序指定多个名称和值对参数name1,value1,...,namen,valuen

例子:'patericalpricictors',[1 2],'verbose',2指定作为分类变量的前两个预测器变量,并指定冗长级别为2。

分类预测器列表,指定为该表中的值之一。

价值 描述
正整数向量

向量中的每一项都是一个指标值,表明相应的预测器是分类的。索引值在1到之间p,在那里p为用于训练模型的预测器数量。

如果fscmrmr使用将输入变量的子集作为预测器,然后该函数仅使用子集索引预测器。的分类预算值不计算响应变量、观察权重变量或函数不使用的任何其他变量。

逻辑向量

一个真正的进入意味着相应的预测器是分类的。矢量的长度是p

字符矩阵 矩阵的每一行都是一个预测变量的名称。名字必须匹配TBL..使用额外的空白填充名称,因此字符矩阵的每行具有相同的长度。
字符向量的字符串数组或单元格数组 数组中的每个元素都是一个预测变量的名称。名字必须匹配TBL.
'全部' 所有的预测都是绝对的。

默认情况下,如果预测器数据在表中(TBL.),fscmrmr假设如果它是逻辑向量,无序分类向量,字符数组,字符串数组或字符向量阵列,则变量是分类的。如果预测器数据是矩阵(X),fscmrmr假设所有预测因子都是连续的。要将任何其他预测因子识别为分类预测器,请通过使用来指定它们“CategoricalPredictors”名称值参数。

例子:“CategoricalPredictors”、“所有”

数据类型:||逻辑|char|字符串|细胞

用于排序的类的名称,指定为逗号分隔对,由'Classnames'以及类别、字符或字符串数组、逻辑或数字向量或字符向量的单元格数组。一会必须具有相同的数据类型Y或者是响应变量TBL.

如果一会是字符数组,则每个元素必须与数组的一行相对应。

'Classnames'到:

  • 指定的顺序之前与类顺序相对应的维度。

  • 选择排名的类别。例如,假设所有不同类别名称的集合Y{' a ', ' b ', ' c '}.使用来自类的观察结果对预测器进行排序“一个”“c”仅限,指定“类名”,{' a ', ' c '}

的默认值'Classnames'是所有不同类名的集合Y或者是响应变量TBL..默认值'Classnames'如果响应变量是序数,则值具有数学排序。否则,默认值具有字母顺序排序。

例子:“类名”,{' b ', ' g '}

数据类型:分类|char|字符串|逻辑|||细胞

每个类别的先验概率,指定为下列之一:

  • 字符向量或字符串标量。

    • “经验”中的响应变量中的类频率确定类概率YTBL..如果你通过观察权重,fscmrmr使用权重来计算类的概率。

    • “统一”设置所有类的概率相等。

  • 向量(每个类的一个标量值)。的对应元素的类顺序'事先的',设置'Classnames'名称值参数。

  • 结构年代有两个领域。

    • S.Classnames.包含作为与响应变量相同类型的变量的类名YTBL.

    • S.ClassProbs包含相应概率的向量。

fscmrmr将每个类别的权重归一化(“重量”)加入相应类的现有概率的值。

例子:“前”、“制服”

数据类型:char|字符串|||塑造

用于在预测器中使用或丢弃缺失值的指示符,指定为包括的逗号分隔对“UseMissing”,要么真正的使用或错误的为了排名而丢弃预测器中缺失的值。

fscmrmr考虑,''(空字符向量),""(空字符串),<缺失>,<未定义>值缺少值。

如果您指定'veremissing',真实, 然后fscmrmr使用缺失的排名值。对于一个分类变量,fscmrmr将丢失的值作为额外的类别处理。对于连续变量,fscmrmr地点值放在单独的容器中进行分类。

如果您指定'veremissing',假, 然后fscmrmr不使用缺失的排名值。因为fscmrmr计算每对变量的互动信息,当行中的值部分丢失时,函数不会丢弃整行。fscmrmr使用不包括丢失值的所有对值。

例子:'veremissing',真实

数据类型:逻辑

详细程度,指定为逗号分隔对,由“详细”和一个非负整数。的价值verb控制软件在命令窗口中显示的诊断信息的数量。

  • 0 -fscmrmr不显示任何诊断信息。

  • 1 -fscmrmr显示计算消耗的时间互信息和排名预测。

  • ≥2 -fscmrmr显示与计算互信息相关的耗时和更多消息。信息的数量随着你的增加而增加“详细”价值。

例子:“详细”,1

数据类型:|

观察权重,指定为逗号分隔的配对“重量”和标量值的矢量或变量的名称TBL..函数对每一行的观测值进行加权XTBL.具有相应的价值权重.的大小权重必须等于行的数量XTBL.

如果将输入数据指定为表TBL., 然后权重可以是变量的名称TBL.包含数字矢量。在这种情况下,您必须指定权重作为字符向量或字符串标量。例如,如果权值向量是列WTBL.资源描述。W),然后指定“权重”W”

fscmrmr对每个类别的权重进行归一化,使其与各自类别的先验概率值相加。

数据类型:||char|字符串

输出参数

全部收缩

预测指标XTBL.根据预测器的重要性排序,返回为1-by-r数字矢量,在哪里r是排名预测者的数量。

如果fscmrmr中使用变量的子集TBL.作为预测器,然后函数仅使用子集对预测器进行索引。例如,假设TBL.包含10列,并指定的最后5列TBL.作为预测变量使用公式.如果idx (3)5,第三个最重要的预测是第10列TBL.,它是子集中的第五个预测因子。

预测的分数,返回为1-by-r数字矢量,在哪里r是排名预测者的数量。

一个较大的得分值表明相应的预测器是重要的。此外,特征重要性得分的下降表示特征选择的置信度。例如,如果软件有信心选择一个特性x,则下一个最重要特征的得分值远小于的得分值x

  • 如果你使用X指定预测器或使用所有变量TBL.作为预测器,然后是值分数与预测因子有相同的订单XTBL.

  • 如果你指定变量的子集TBL.作为预测器,然后是值分数与子集具有相同的顺序。

例如,假设TBL.包含10列,并指定的最后5列TBL.作为预测变量使用公式.然后,得分(3)中第8列的得分值TBL.,它是子集中的第三个预测因子。

更多关于

全部收缩

互信息

两个变量之间的互信息衡量通过了解其他变量可以减少一个变量的要不确定性。

的互信息离散随机变量XZ被定义为

X , Z , j P X x , Z z j 日志 P X x , Z z j P X x P Z z j

如果XZ是独立的,然后等于0.如果XZ那是同一个随机变量等于熵X

fscmrmr函数使用这个定义来计算分类(离散)和连续变量的互信息值。fscmrmr将一个连续变量离散为256个箱子或变量中唯一值的数量,如果它小于256。该函数使用自适应算法为每一对变量找到最优的二元容器[2]

算法

全部收缩

MRMR (Minimum Redundancy Maximum Relevance)算法

MRMR算法[1]找出一组相互的、最大不相似的、能有效表示响应变量的最优特征。该算法使特征集的冗余最小化,使特征集与响应变量的相关性最大化。该算法利用变量的互信息——特征的成对互信息和特征与响应的互信息来量化冗余度和相关性。你可以用这个算法来解决分类问题。

MRMR算法的目标是找到一个最优集年代最大化的特性V年代的相关性年代关于响应变量y,最大限度地减少W年代,冗余年代,在那里V年代W年代定义与互信息

V 年代 1 | 年代 | x 年代 x , y ,

W 年代 1 | 年代 | 2 x , z 年代 x , z

|的|功能的数量在吗年代

找到最佳集年代需要考虑所有2|ω.|组合,ω.是整个功能集。相反,MRMR算法通过前向加法方案排列特征,这需要O(|ω.|·|年代|)计算,通过使用相互信息(MIQ)值。

进行筛选 x V x W x ,

在哪里VxWx是分别的相关性和冗余:

V x x , y ,

W x 1 | 年代 | z 年代 x , z

fscmrmr功能排名所有功能ω.回报idx(通过MRMR算法(特征重要性订购的特征指数)。因此,计算成本变为O(|ω.|2.该函数使用启发式算法和返回量化特征的重要性分数.一个较大的得分值表明相应的预测器是重要的。此外,特征重要性得分的下降表示特征选择的置信度。例如,如果软件有信心选择一个特性x,则下一个最重要特征的得分值远小于的得分值x.您可以使用输出查找最佳集合年代对于给定数量的特性。

fscmrmr排名特点如下:

  1. 选择相关性最大的特征, 最大限度 x ω. V x .将所选功能添加到空集中年代

  2. 在的补语中找出非零相关和零冗余的特征年代,年代c

    • 如果年代c不包含具有非零相关性和零冗余的特性,请转到步骤4。

    • 否则,选择具有最大相关性的功能, 最大限度 x 年代 c , W x 0 V x .将选定的特性添加到集合中年代

  3. 重复步骤2,直到所有特性的冗余不为零年代c

  4. 选择具有NOZERO相关性和非零冗余的MIQ值最大的功能年代c,并将所选特性添加到集合中年代

    最大限度 x 年代 c 进行筛选 x 最大限度 x 年代 c x , y 1 | 年代 | z 年代 x , z

  5. 重复步骤4,直到所有功能的相关性为零年代c

  6. 添加具有零相关性的功能年代以随机顺序。

如果无法找到满足步骤中描述的条件的功能,则该软件可以跳过任何步骤。

兼容性的考虑

全部展开

行为在R2020a中改变

参考

[1] Ding, C.和H. Peng。从微阵列基因表达数据中选择最小冗余特征生物信息学与计算生物学杂志。第3卷第2期,2005年,185-205页。

Darbellay, g.a.,和I. Vajda。通过对观测空间的自适应划分来估计信息。IEEE信息理论汇刊。第45卷第4期,1999年,第1315-1321页。

介绍了R2019b