predictorImportance

决策树分类集合中预测因子重要性的估计

展开全部页面

语法

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

描述

小鬼= predictorImportance (实体）计算预测器重要性的估计值实体通过对集合中所有弱学习器的估计求和。小鬼在用于训练该集合的数据中，每个输入预测器都有一个元素。值高表示该预测器对重要实体．

［小鬼，妈] = predictorImportance(实体）返回一个P——- - - - - -P矩阵与预测措施的关联P预测者，当学习者在实体包含代理分割。看到更多关于．

输入参数

`实体`	决策树的分类集合，由`fitcensemble`，或透过`紧凑的`方法。

输出参数

`小鬼`	一个行向量，其元素数量与预测器(列)的数量相同`实体．X`．条目是预测器重要性的估计值，与`0`最小的表示尽可能小的重要性的
`妈`	一个`P`——- - - - - -`P`关联的预测度量矩阵`P`预测因子。元素`硕士(I, J)`关联的预测措施是否在预测器的代理分裂上平均`J`哪个预测器`我`是最佳的分裂预测器。`predictorImportance`对集合中所有树的关联预测测量取平均值。

例子

全部展开

预测因子重要性

打开实时脚本

估计Fisher虹膜数据中所有变量的预测器重要性。

加载费雪的虹膜数据集。

负载fisheriris

使用AdaBoostM2训练分类集合。指定树桩作为弱学习器。

t = templateTree(“MaxNumSplits”1);Ens = fitcensemble(meas,species，“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测因子重要性。

imp = predictorImportance(ens)

小鬼=1×40.0004 0.0016 0.1266 0.0324

前两个预测因子在集合中不是很重要。

预测重要性和替代分割

打开实时脚本

在树包含代理分割的集合中，估计Fisher虹膜数据中所有变量的预测器重要性。

加载费雪的虹膜数据集。

负载fisheriris

使用AdaBoostM2生长100个分类树的集合。指定树桩作为弱学习器，并确定代理分割。

t = templateTree(“MaxNumSplits”, 1“代孕”，“上”）;Ens = fitcensemble(meas,species，“方法”，“AdaBoostM2”，“学习者”t);

估计所有预测变量的预测重要性和关联的预测措施。

[imp,ma] = predictorImportance(ens)

小鬼=1×40.0674 0.0417 0.1582 0.1537

马=4×41.0000 000 0.0115 1.0000 0.0022 0.0054 0.3186 0.2137 1.0000 0.6391 0.0392 0.0073 0.1137 1.0000

前两个预测因素比中分析的重要得多预测因子重要性．

更多关于

全部展开

预测的重要性

predictorImportance估计集合中每个树学习器的预测器重要性实体并返回加权平均值小鬼计算使用ens.TrainedWeight．输出小鬼每个预测器都有一个元素。

predictorImportance计算树中预测器的重要性度量，方法是将每个预测器上的分裂导致的节点风险变化相加，然后将总和除以分支节点的总数。节点风险的变化是父节点的风险与两个子节点的总风险之间的差值。例如，如果一棵树将父节点(例如节点1)分割为两个子节点(例如节点2和3)，则predictorImportance将拆分预测器的重要性增加

（R₁- - - - - -R₂- - - - - -R_3.) /N_分支，

在哪里R_我节点是否有风险我,N_分支分支节点的总数。一个节点的风险定义为节点误差或节点杂质由节点概率加权:

R_我＝P_我E_我，

在哪里P_我是节点的节点概率吗我,E_我节点的节点误差(对于最小化二化准则生长的树)或节点杂质(对于最小化杂质准则生长的树，如基尼指数或偏差)是什么我．

预测器重要性的估计取决于是否使用替代分割进行训练。

如果你使用代理分割，predictorImportance将每个分支节点上所有拆分(包括代理拆分)的节点风险更改相加。如果不使用代理分割，则该函数对每个分支节点上找到的最佳分割进行求和。
如果使用替代分割，预测器重要性的估计不依赖于预测器的顺序，但如果不使用替代分割，则依赖于预测器的顺序。

杂质和节点错误

决策树基于任意一种来分割节点杂质或节点的错误．

不洁净是几种事物中的一种，这取决于你的选择SplitCriterion名称-值对参数:

基尼系数多样性指数(gdi)—节点的基尼系数为

$1 - \sum_{我} p^{2} （我），$

这些类的和在哪里我在节点处，和p（我)是类与类的观察分数我到达节点。只有一个类的节点(A纯节点)具有基尼指数0；否则基尼系数为正。基尼指数是节点杂质的度量。
异常(“异常”) -与p（我)定义与基尼指数相同，节点的偏差为

$- \sum_{我} p （我） {日志}_{2} p （我）．$

纯节点有偏差0；否则，偏差为正。
二元规则(“两个”- Twoing不是节点的纯度度量，而是决定如何分割节点的不同度量。让l（我)表示类成员的分数我在分裂后的左子节点中，和R（我)表示类成员的分数我在分裂后的右子节点中。选择最大化的分割标准

$P （ l ） P （ R ） {（ \sum_{我} | l （我） - R （我） | ）}^{2} ，$

在哪里P（l),P（R)是分别向左和向右分裂的观测值的分数。如果表达式很大，则拆分使每个子节点更纯。类似地，如果表达式很小，则拆分使每个子节点彼此相似，因此也与父节点相似。分裂不会增加节点纯度。
节点错误——节点错误是一个节点上错误分类的类的百分比。如果j在一个节点上训练样本数量最大的类，节点误差是多少

1 -p（j）.

联想的预测测量

的关联的预测测量指示拆分观察结果的决策规则之间的相似性的值。在与最优分割(通过生长树发现)相比的所有可能的决策分割中，最好的代理决策分裂产生关联的最大预测度量。第二好的代理分裂具有第二大的关联预测措施。

假设x_j而且x_k都是预测变量j而且k，以及j≠k．在节点t，预测测度之间的关联最优分割x_j<u代理分裂x_k<v是

$λ_{j k} ＝ \frac{最小值（ P_{l} ， P_{R} ） - （ 1 - P_{l_{j} l_{k}} - P_{R_{j} R_{k}} ）}{最小值（ P_{l} ， P_{R} ）} ．$

P_l节点中观测值的比例是多少t，以致于x_j<u．下标l表示节点的左子节点t．
P_R节点中观测值的比例是多少t，以致于x_j≥u．下标R表示节点的右子节点t．
$P_{l_{j} l_{k}}$ 节点上观测值的比例是多少t，以致于x_j<u而且x_k<v．
$P_{R_{j} R_{k}}$ 节点上观测值的比例是多少t，以致于x_j≥u而且x_k≥v．
缺少值的观测值x_j或x_k不要参与比例计算。

λ_jk是(-∞，1]中的值。如果λ_jk> 0,然后x_k<v代理拆分值得吗x_j<u．

算法

元素硕士(i, j)关联的预测措施是否在预测器的代理分裂上平均j哪个预测器我是最佳的分裂预测器。这个平均值是通过对预测器上的最佳分割的关联预测测量的阳性值求和来计算的我和代理人分裂预测j除以预测器上最优分割的总数我，包括预测因素之间关联的预测度量的分裂我而且j是负的。