主要内容

FSCMRMR.

使用最小冗余最大相关性(MRMR)算法分类的等级功能

描述

idx.= fscmrmr(TBL.responsevarname.使用该排列功能(预测器)MRMR算法。桌子TBL.包含预测变量和响应变量,以及responsevarname.是响应变量的名称TBL.。函数返回idx.,其中包含通过预测的重要性排序的预测器指数。您可以使用idx.选择分类问题的重要预测因子。

idx.= fscmrmr(TBL.公式指定要在变量中考虑的响应变量和预测变量TBL.通过使用公式

例子

idx.= fscmrmr(TBL.y排名预测因素TBL.使用响应变量y

例子

idx.= fscmrmr(Xy排名预测因素X使用响应变量y

idx.= fscmrmr(___名称,价值除了以前语法中的任何输入参数组合之外,使用一个或多个名称值对参数指定其他选项。例如,您可以指定先前的概率和观察权重。

[idx.得分] = fscmrmr(___还返回预测的分数得分。大得分值表示相应的预测器很重要。

例子

全部收缩

加载样本数据。

加载电离层

基于重要性等待预测器。

[Idx,scores] = fscmrmr(x,y);

创建一个预测标志重要评分的条形图。

BAR(分数(IDX))XLABEL('预测的排名')ylabel('预测重点评分'

图包含轴。轴包含类型栏的物体。

第一和第二最重要的预测器之间的分数下降很大,而第六预测器之后的液滴相对较小。重要性评分的下降代表了特征选择的置信度。因此,大幅下降意味着该软件对选择最重要的预测因子是有信心的。小滴表示预测性重要性的差异并不重要。

选择前五大最重要的预测因子。找到这些预测器的列X

IDX(1:5)
ans =.1×55 4 1 7 24

第五列X是最重要的预测因子y

通过使用找到重要的预测因子FSCMRMR.。然后比较完整分类模型(使用所有预测器)的精度和使用五个最重要的预测因子的缩小模型testckfold.

加载人口普查1994数据集。

加载人口普查1994.

桌子AdultData.人口普查1994.包含来自美国人口普查局的人口统计数据,以预测个人每年赚超过50,000美元。显示表的前三行。

头(AdultData,3)
ans =.3×15表年龄workClass fnlwgt教育education_num婚姻状况职业关系种族性别capital_gain capital_loss hours_per_week NATIVE_COUNTRY工资___ ________________ __________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ ______ 39国政务77516个学士13未婚ADM-文书不在位家庭白人男性2174 0 40美国联合国<= 50K 50自我emp-not-Inc 83311学士学位13结婚 -  Civ-Spouse exec-Manigher丈夫白色男0 0 1 13美国<= 50K 38私人2.1565E + 05 HS-GRAD 9离婚处理人员 - 清洁剂Not-In-Family White Male 0 0 0 40美国<= 50K

输出论据FSCMRMR.仅包括函数中排名的变量。在将表传递到函数之前,将不希望在表格的末尾进行排名,包括响应变量和权重的变量,以便输出参数的顺序与表的顺序一致。

在表格中AdultData.,第三列fnlwgt.是样品的重量,以及最后一列薪水是响应变量。移动fnlwgt.到左侧薪水通过使用搬运活动功能。

AdultData = MoveVars(AdultData,'fnlwgt''前''薪水');头(AdultData,3)
ans =.3×15表年龄workClass教育education_num婚姻状况职业关系种族性别capital_gain capital_loss hours_per_week NATIVE_COUNTRY fnlwgt工资___ ________________ _________ _____________ __________________ _________________ _____________ _____ ____ ____________ ____________ ______________ ______________ __________ ______ 39国政务学士13未婚ADM-文书不在位家庭白人男性21740 40美国77516 <= 50K 50自我Emp-Not Inc学士13结婚 -  Civ-Spouse Exec-Manager Justric Males 0 0 1 13美国83311 <= 50K 38私人HS-Grad 9离婚处理器 - 清洁剂Not-In-Family White Male 0 0 0 40美国2.1565E + 05 <= 50K

排名预测因子AdultData.。指定列薪水作为响应变量。

[Idx,scores] = FSCMRMR(AdultianData,'薪水''重量''fnlwgt');

创建一个预测标志重要分数的条形图。使用预测的名称X-axis刻度标签。

BAR(分数(IDX))XLABEL('预测的排名')ylabel('预测重点评分')XTicklabels(Strrep(Adjordata.properties.variablenames(Idx),'_''\ _'))xtickangle(45)

图包含轴。轴包含类型栏的物体。

五个最重要的预测因子是关系Capital_Loss.资本收益教育, 和每周几小时

比较培训的分类树的准确性,以所有预测器培训到具有五个最重要的预测因子训练的准确性。

使用默认选项创建分类树模板。

c = templatetree;

定义表格TBL1.包含所有预测器和表格TBL2.包含五个最重要的预测因子。

TBL1 = AdultData(:,Aduclandata.properties.variablenames(IDX(1:13)));TBL2 = AdultData(:,AdultData.properties.VariaBlenames(IDX(1:5)));

将分类树模板和两个表传递给testckfold.功能。该功能通过重复的交叉验证比较了两种模型的精度。指定'替代','更大'为了测试与所有预测器的模型最多是与五个预测器的模型准确的模型。这'更大'选项可用'测试''5x2t'(5-by-2配对T.测试)或'10x10t'(10比10重复交叉验证T.测试)。

[h,p] = testckfold(c,c,tbl1,tbl2,amertandata.salary,'重量',AdultData.fnlwgt,'选择''更大''测试''5x2t'
h =逻辑0.
p = 0.9969.

H等于0和P.-Value几乎是1,表明未能拒绝零假设。与五个预测器的模型不导致与所有预测器的模型相比丢失准确性。

现在使用所选的预测器列出分类树。

mdl = fitctree(amertandata,'薪水〜关系+ capital_loss + capital_gain +教育+ herm_per_week'......'重量',AdultData.fnlwgt)
mdl = classificationtree predictorn:{1x5 cell} racatectename:'薪资'类别预防icon:[1 2] ClassNames:[<= 50k> 50k] ScorEtransform:'无'NumObServations:32561属性,方法

输入参数

全部收缩

示例数据,指定为表。不允许使用除了字符向量的单元格阵列之外的多色变量和单元阵列。

每一排TBL.对应于一个观察,并且每列对应于一个预测变量。可选地,TBL.可以包含响应变量和观察权重的附加列。

响应变量可以是字符向量的分类,字符或字符串阵列,逻辑或数字矢量或字符向量阵列。如果响应变量是一个字符数组,则响应变量的每个元素必须对应于数组的一行。

  • 如果TBL.包含响应变量,并且您希望使用所有剩余的变量TBL.作为预测器,然后通过使用指定响应变量responsevarname.。如果TBL.还包含观察权重,然后您可以通过使用来指定权重重量

  • 如果TBL.包含响应变量,并且只想仅使用剩余变量的子集TBL.作为预测器,然后使用的是使用变量的子集公式

  • 如果TBL.不包含响应变量,然后通过使用指定响应变量y。响应变量和TBL.必须具有相同数量的行。

如果FSCMRMR.使用变量子集TBL.作为预测器,该函数仅使用子集索引预测器。价值'pationoricalpricictors'名称值对参数和输出参数idx.不要计算函数不等级的预测器。

FSCMRMR.考虑''(空字符向量),(空字符串),<缺失>, 和<未定义>价值TBL.对于缺少值的响应变量。FSCMRMR.不使用响应变量缺失值的观察。

数据类型:桌子

响应变量名称,指定为字符向量或字符串标量,包含变量的名称TBL.

例如,如果响应变量是列yTBL.tbl.y.),然后指定responsevarname.作为'是'

数据类型:char|细绳

响应变量的解释模型和预测变量的子集,指定为表单中的字符向量或字符串标量'y〜x1 + x2 + x3'。在这种形式,y表示响应变量,和X1X2, 和X3代表预测变量。

指定变量的子集TBL.作为预测器,使用公式。如果您指定公式,那么FSCMRMR.没有排列任何变量TBL.没有出现在公式

公式中的变量名称必须是变量名称TBL.tbl.properties.variablenames.)和有效的matlab®身份标识。您可以验证变量名称TBL.通过使用isvarname.功能。如果变量名称无效,则可以使用使用的转换它们matlab.lang.makevalidname.功能。

数据类型:char|细绳

响应变量,指定为数字,分类或逻辑向量,字符或字符串数​​组,或字符向量的小区数组。每一排y表示相应行的标签X

FSCMRMR.考虑''(空字符向量),(空字符串),<缺失>, 和<未定义>价值y缺少值。FSCMRMR.不使用具有缺失值的观察y

数据类型:单身的|双倍的|分类|逻辑|char|细绳|细胞

预测数据,指定为数字矩阵。每一排X对应于一个观察,并且每列对应于一个预测变量。

数据类型:单身的|双倍的

名称值对参数

指定可选的逗号分离对名称,价值论点。名称是参数名称和价值是相应的价值。名称必须出现在引号内。您可以以任何顺序指定多个名称和值对参数name1,value1,...,namen,valuen

例子:'patoricalpricictors',[1 2],'verbose',2指定作为分类变量的前两个预测器变量,并指定呈现级别级别为2。

分类预测器列表,指定为此表中的值之一。

价值 描述
正整数矢量

向量中的每个条目是与包含分类变量的预测数据列对应的索引值。索引值在1之间P., 在哪里P.是用于训练模型的预测器数量。

如果FSCMRMR.使用输入变量的子集作为预测器,然后函数仅使用子集索引预测器。这'pationoricalpricictors'值不计算响应变量,观察权重变量和功能不使用的任何其他变量。

逻辑矢量

一种真的条目意味着预测器数据的相应列是分类变量。矢量的长度是P.

字符矩阵 矩阵的每一行是预测器变量的名称。名称必须与名称匹配TBL.。使用额外的空白填充名称,因此字符矩阵的每行具有相同的长度。
字符串阵列或字符向量的单元数组 数组中的每个元素是预测器变量的名称。名称必须与名称匹配TBL.
'全部' 所有预测因素都是分类的。

默认情况下,如果预测器数据在表中(TBL.),FSCMRMR.假设变量是分类的,如果它是逻辑向量,无序分类向量,字符数组,字符串数组或字符向量的单元数组。如果预测器数据是矩阵(X),FSCMRMR.假设所有预测因子都是连续的。要将任何其他预测因子识别为分类预测器,请通过使用来指定它们'pationoricalpricictors'名称值参数。

例子:'patericalpricictors','全部'

数据类型:单身的|双倍的|逻辑|char|细绳|细胞

用于排名的类的名称,指定为逗号分隔的配对组成'classnames'和一个分类,字符或字符串阵列,逻辑或数字矢量,或字符向量的单元格数组。Classnames.必须具有相同的数据类型y或响应变量TBL.

如果Classnames.是一个字符数组,那么每个元素都必须对应于数组的一行。

采用'classnames'到:

  • 指定的顺序事先的对应于类顺序的尺寸。

  • 选择排名的类别。例如,假设所有不同类别名称的集合y{'a','b','c'}。使用课程的观察排列预测器'一种''C'仅限,指定'classnames',{'a','c'}

默认值'classnames'是所有不同类名的集合y或响应变量TBL.。默认值'classnames'如果响应变量是序数,则值具有数学排序。否则,默认值具有字母顺序排序。

例子:'classnames',{'b','g'}

数据类型:分类|char|细绳|逻辑|单身的|双倍的|细胞

每个类的先前概率,指定为以下之一:

  • 字符矢量或字符串标量。

    • '经验'确定响应变量中的类频率的类概率y要么TBL.。如果你通过观察权重,FSCMRMR.使用权重来计算类概率。

    • '制服'设置所有类概率等于。

  • 向量(每个类的一个标量值)。指定相应元素的类顺序'事先的',设置'classnames'名称值参数。

  • 结构S.有两个领域。

    • S.Classnames.包含类名作为与响应变量相同类型的变量y要么TBL.

    • S.Classprobs.包含相应概率的向量。

FSCMRMR.将每个类中的重量正常化('重量')要加入相应类的现有概率的值。

例子:'先前','制服'

数据类型:char|细绳|单身的|双倍的|塑造

用于在预测器中使用或丢弃缺失值的指示,指定为包括的逗号分隔对'veremissing'和任何一种真的使用或错误的在排名中丢弃缺失的值。

FSCMRMR.考虑''(空字符向量),(空字符串),<缺失>, 和<未定义>值缺少值。

如果您指定'veremissing',真实, 然后FSCMRMR.使用缺失的排名值。对于一个分类变量,FSCMRMR.将缺失的值视为额外的类别。对于连续变量,FSCMRMR.地点单独的垃圾箱中的值用于分布。

如果您指定'veremissing',false, 然后FSCMRMR.不使用缺失的排名值。因为FSCMRMR.计算每对变量的互动信息,当行中的值部分丢失时,该函数不会丢弃整行。FSCMRMR.使用不包含缺失值的所有对值。

例子:'veremissing',真实

数据类型:逻辑

详细级别,指定为逗号分隔对组成'verbose'和一个非负整数。的价值verb控制软件显示在命令窗口中的诊断信息量。

  • 0 -FSCMRMR.不显示任何诊断信息。

  • 1 -FSCMRMR.显示用于计算的经过时间相互信息和排名预测因子。

  • ≥2 -FSCMRMR.显示与计算相互信息相关的经过时间和更多消息。当您增加时,信息量增加'verbose'价值。

例子:'verbose',1

数据类型:单身的|双倍的

观察权重,指定为逗号分隔的配对组成'重量'和标量值的矢量或变量的名称TBL.。函数重量每行中的观察X要么TBL.具有相应的价值重量。的大小重量必须等于行的数量X要么TBL.

如果将输入数据指定为表TBL., 然后重量可以是变量的名称TBL.包含数字矢量。在这种情况下,您必须指定重量作为字符矢量或字符串标量。例如,如果权重向量是列W.TBL.TBL.W.),然后指定'重量,'w'

FSCMRMR.将每个类中的权重标准化,以加入相应类的现有概率的值。

数据类型:单身的|双倍的|char|细绳

输出参数

全部收缩

预测因素的指标X要么TBL.通过预测的重要性命令,返回为1-by-R.数字矢量,在哪里R.是排名的预测因子的数量。

如果FSCMRMR.使用变量子集TBL.作为预测器,该函数仅使用子集索引预测器。例如,假设TBL.包含10列,您可以指定最后五列TBL.作为预测因子变量使用公式。如果IDX(3)5.然后第三个最重要的预测器是第10列TBL.,这是子集中的第五预测器。

预测的分数,返回为1-by-R.数字矢量,在哪里R.是排名的预测因子的数量。

大得分值表示相应的预测器很重要。此外,特征重要性分数的下降代表了特征选择的置信度。例如,如果软件有信心选择要素X,然后下一个最重要的特征的分数值远小于分数值X

  • 如果你使用X指定预测器或使用所有变量TBL.作为预测因子,那么值得分与预测器有相同的订单X要么TBL.

  • 如果指定了变量的子集TBL.作为预测因子,那么值得分与子集具有相同的顺序。

例如,假设TBL.包含10列,您可以指定最后五列TBL.作为预测因子变量使用公式。然后,得分(3)包含第8列的分数值TBL.,这是子集中的第三预测器。

更多关于

全部收缩

相互信息

两个变量之间的互信息测量通过了解其他变量可以减少一个变量的不确定性。

相互信息一世离散随机变量XZ.被定义为

一世 X Z. = σ. 一世 j P. X = X 一世 Z. = Z. j 日志 P. X = X 一世 Z. = Z. j P. X = X 一世 P. Z. = Z. j

如果XZ.是独立的,然后一世等于0.如果XZ.是同一个随机变量,然后一世等于熵X

FSCMRMR.函数使用此定义来计算分类(离散)和连续变量的相互信息值。FSCMRMR.如果小于256,则将连续变量离散到256个箱子或变量中的唯一值的数量。该功能使用自适应算法查找每对变量的最佳双变量箱[2]

算法

全部收缩

最小冗余最大相关性(MRMR)算法

MRMR算法[1]查找相互和最大不同的最佳特征集,可以有效地表示响应变量。该算法最小化特征集的冗余,并最大化特征设置为响应变量的特征的相关性。该算法使用变量的相互信息与特征和响应的相互信息的相互信息来定量冗余和相关性。您可以使用此算法进行分类问题。

MRMR算法的目标是找到最佳集合S.最大化的功能V.S.,相关性S.关于响应变量y,并最小化W.S.,冗余S., 在哪里V.S.W.S.被定义为相互信息一世

V. S. = 1 | S. | σ. X S. 一世 X y

W. S. = 1 | S. | 2 σ. X Z. S. 一世 X Z.

| S |是功能的数量S.

找到最佳集合S.需要考虑一下2|ω.|组合,在哪里ω.是整个功能集。相反,MRMR算法通过前向加法方案排列特征,这需要O.(|ω.|··|S.|))计算,通过使用互信息额定额定(MIQ)值。

MIQ. X = V. X W. X

在哪里V.XW.X是一个功能的相关性和冗余:

V. X = 一世 X y

W. X = 1 | S. | σ. Z. S. 一世 X Z.

FSCMRMR.函数排名所有功能ω.并退货idx.(使用MRMR算法(特征重要性订购的特征指数)。因此,计算成本变为O.(|ω.|2。该函数使用启发式算法和返回量化功能的重要性分数。大得分值表示相应的预测器很重要。此外,特征重要性分数的下降代表了特征选择的置信度。例如,如果软件有信心选择要素X,然后下一个最重要的特征的分数值远小于分数值X。您可以使用输出查找最佳集合S.对于给定数量的功能。

FSCMRMR.排名的功能如下:

  1. 选择具有最大相关性的功能, 最大限度 X ω. V. X 。将所选功能添加到空集中S.

  2. 在补充中找到具有非零相关性和零冗余的功能S.S.C

    • 如果S.C不包括具有非单相关性和零冗余的功能,转到步骤4。

    • 否则,选择具有最大相关性的功能, 最大限度 X S. C W. X = 0. V. X 。将所选功能添加到集合中S.

  3. 重复步骤2,直到所有功能都不为零S.C

  4. 选择具有NOZERO相关性和非零冗余的MIQ值最大的功能S.C,并将所选功能添加到集合中S.

    最大限度 X S. C MIQ. X = 最大限度 X S. C 一世 X y 1 | S. | σ. Z. S. 一世 X Z.

  5. 重复步骤4,直到所有功能的相关性为零S.C

  6. 添加具有零相关性的功能S.以随机顺序。

如果无法找到满足步骤中描述的条件的功能,软件可以跳过任何步骤。

兼容性考虑因素

展开全部

R2020A中的行为发生了变化

参考

[1]丁,C.和H.Peng。“微阵列基因表达数据中的”最小冗余特征“。”中国生物信息学与计算生物学杂志。卷。3,第2,2,2005,第185-205页。

[2] Darbellay,G. A.和I. Vajda。“通过观察空间的自适应划分估计信息。”IEEE关于信息理论的交易。卷。45,第4,1999号,第1315-1321页。

在R2019B中介绍