预测的重要性

决策树分类集合的预测因素重要性估计

展开所有页面

句法

Imp = predictorimportance（ens） [IMP，MA] =预测（ENS）

描述

偶尔=预测orimportance（奴隶）计算预测的重要性估计奴隶通过在集合中的所有弱者学习者上求解这些估计。偶尔对于用于训练该合奏的数据中的每个输入预测器有一个元素。高值表示此预测变量很重要奴隶。

[偶尔那嘛] =预测orimportance（奴隶）返回A.P.-经过-P.具有预测措施的矩阵P.预测者，当学习者进来奴隶包含代理分裂。看更多关于。

输入参数

`奴隶`	由决策树的分类集合`fitcensemble.`，或者是`袖珍的`方法。

输出参数

`偶尔`	作为预测器（列）的数量相同数量的元素数量的行向量`奴隶。X`。该条目是预测因素重要性的估计值`0.`代表最小的重要性。
`嘛`	一种`P.`-经过-`P.`关联协会预测措施的矩阵`P.`预测器。元素`马（I，J）`是在预测器上对代理分裂的关联的预测措施`j`对于哪个预测指标`一世`是最佳的分裂预测因子。`预测的重要性`平均在合奏中的所有树木上的这种预测措施。

例子

展开全部

估计预测因素重要性

打开直播脚本

估算Fisher IRIS数据中所有变量的预测值重要性。

装载Fisher的Iris数据集。

加载渔民

使用Adaboostm2培训分类集合。将树桩指定为弱学习者。

t = templatetree（'maxnumsplits'，1）;ENS = FITCESEMBLE（MEAM，物种，'方法'那'adaboostm2'那'学习者'，t）;

估计所有预测变量的预测值重要性。

Imp = predictorimportance（ens）

Imp =1×4.0.0004 0.0016 0.1266 0.0324

前两个预测器在集合中不是很重要。

预测标志的重要性和代理分裂

打开直播脚本

估算Fisher IRIS数据中所有变量的预测值，用于树木包含代理分裂的集合。

装载Fisher的Iris数据集。

加载渔民

使用Adaboostm2生长100种分类树的集合。将树桩指定为弱学习者，并识别代理分裂。

t = templatetree（'maxnumsplits'，1，'代理'那'上'）;ENS = FITCESEMBLE（MEAM，物种，'方法'那'adaboostm2'那'学习者'，t）;

估计所有预测变量的关联的预测重要性和预测措施。

[IMP，MA] =预测（ENS）

Imp =1×4.0.0674 0.0417 0.1582 0.1537

马=4×4.1.0000 0 0 0 0.0115 1.0000 0.0022 0.0054 0.3186 0.2137 1.0000 0.6391 0.0392 0.0073 0.1137 1.0000

前两个预测因子比分析显示得更重要估计预测因素重要性。

更多关于

展开全部

预测重要性

预测的重要性估计集合中每棵树学习者的预测重点重要性奴隶并返回加权平均值偶尔计算使用ens.trountweight.。输出偶尔每个预测器都有一个元素。

预测的重要性通过在每个预测器上拆分，通过对节点风险的变化进行总结，从而计算树中预测器的重要性测量，然后通过分支节点的总数划分总和。节点风险的变化是父节点风险与两个孩子的总风险之间的差异。例如，如果树将父节点（例如，节点1）拆分为两个子节点（例如，节点2和3），则预测的重要性提高分裂预测因子的重要性

（R.₁-R.₂-R._3./N_分支那

在哪里R._一世是节点的节点风险一世，和N_分支是分支节点的总数。一种节点风险被定义为节点概率加权的节点错误或节点杂质：

R._一世=P._一世E._一世那

在哪里P._一世是节点的节点概率一世，和E._一世是节点错误（对于通过最小化倒挂标准而生长的树）或节点杂质（用于通过最小化节点的杂质标准而生长的树，例如通过节点的基尼索引或偏差）一世。

预测变量重要性的估计取决于您是否使用代理分裂进行培训。

如果你使用代理分裂，预测的重要性在每个分支节点处的所有分割中，节点风险的更改总和，包括代理分割。如果您不使用替代拆分，则该函数将在每个分支节点处找到的最佳分割中的总和。
如果您使用代理分割，预测器重要性的估计不依赖于预测器的顺序，但如果您不使用代理分裂，请执行命令。

杂质和节点错误

决策树基于或者拆分节点不纯或者节点错误。

杂质意味着几件事之一，取决于您的选择斯波特刺激器名称值对参数：

Gini的多样性指数（GDI.） - 节点的GINI索引是

$1 - \underset{一世}{σ.} {P.}^{2} （一世）那$

总和在课程中一世在节点，和P.（一世）是观察到的课程分数一世到达节点。只有一个类的节点（a纯的节点）有基尼索引0.;否则基尼指数是积极的。因此，GINI指数是节点杂质的量度。
偏差（'偏见'） - 和P.（一世）定义与Gini索引相同，节点的偏差是

$- \underset{一世}{σ.} P. （一世） {日志}_{2} P. （一世）。$

纯节点具有偏差0.;否则，偏差是积极的。
统治规则（'两边'） - 两者不是节点的纯度测量，但是决定如何分割节点的不同措施。让L.（一世）表示课堂成员的一小部分一世拆分后的左子节点，和R.（一世）表示课堂成员的一小部分一世在拆分后在右子节点中。选择拆分标准以最大化

$P. （ L. ） P. （ R. ） {（ \underset{一世}{σ.} | L. （一世） - R. （一世） | ）}^{2} 那$

在哪里P.（L.）和P.（R.）分别分裂到左右的观察分数。如果表达式很大，则拆分使每个子节点更大。类似地，如果表达式很小，则拆分使每个子节点彼此类似，因此类似于父节点。拆分没有增加节点纯度。
节点错误 - 节点错误是节点中错误分类类的分数。如果j是节点上最大训练样本数量最多的类，节点错误是

1 -P.（j）。

预测措施

这预测措施是表示分割观察的决策规则之间的相似性的值。在与最佳分裂相比的所有可能的决策分割中（通过生长树），最好的代理决策分裂产生最大的关联预测度量。第二次最佳代理拆分具有第二大协会的预测措施。

认为X_j和X_K.是预测变量j和K.分别和j≠K.。在节点T.，最佳分裂之间的关联的预测措施X_j<你和替代斯普利特X_K.<V.是

${λ.}_{j K.} = \frac{闵（ {P.}_{L.} 那 {P.}_{R.} ） - （ 1 - {P.}_{{L.}_{j} {L.}_{K.}} - {P.}_{{R.}_{j} {R.}_{K.}} ）}{闵（ {P.}_{L.} 那 {P.}_{R.} ）} 。$

P._L.是节点中的观测比例T.，这样X_j<你。下标L.代表节点的左子T.。
P._R.是节点中的观测比例T.，这样X_j≥你。下标R.代表节点的合适子T.。
${P.}_{{L.}_{j} {L.}_{K.}}$ 是节点的观察比例T.，这样X_j<你和X_K.<V.。
${P.}_{{R.}_{j} {R.}_{K.}}$ 是节点的观察比例T.，这样X_j≥你和X_K.≥V.。
缺少值的观察X_j或者X_K.不要有助于比例计算。

λ._jk.是（ - ∞，1]的值。如果λ._jk.> 0，然后X_K.<V.是一个有价值的代理人分裂X_j<你。

算法

元素马（I，J）是在预测器上对代理分裂的关联的预测措施j对于哪个预测指标一世是最佳的分裂预测因子。通过对预测器上的最佳分裂的最佳分裂来求解预测度量的正值来计算这种平均值一世和代理分裂在预测器上j并除以预测器上的最佳分裂总数一世，包括预测器之间关联的预测措施的分裂一世和j是消极的。