TreeBagger
袋装决策树的集合
描述
一个TreeBagger对象是用于分类或回归的袋装决策树的集合。单个决策树容易过拟合。装袋，代表bootstrap聚合，是一种减少过拟合影响并提高泛化的集成方法。
创建
的TreeBagger函数生长在每棵树中TreeBagger使用输入数据的自举样本的集成模型。未包含在样本中的观察结果被认为是该树的“外袋”。该函数为使用随机森林算法分割的每个决策选择预测器的随机子集[1]．
语法
描述
提示
默认情况下，TreeBagger函数生长分类决策树。要生长回归决策树，请指定名称-值参数方法作为“回归”．
Mdl= TreeBagger (NumTrees，资源描述，ResponseVarName）Mdl)NumTrees袋装分类树，由表中的预测器训练资源描述以及变量中的类标签资源描述。ResponseVarName．
输入参数
输出参数
属性
对象的功能
例子
袋装分类树的训练集合
为Fisher的虹膜数据集创建一个袋装分类树集合。然后，查看第一棵生长的树，绘制袋外分类错误，并预测袋外观察的标签。
加载fisheriris数据集。创建X作为一个数字矩阵，包含四个花瓣测量150鸢尾花。创建Y作为包含相应虹膜种类的特征向量的单元数组。
负载fisheririsX = meas;Y =物种;
将随机数发生器设置为默认的再现性。
rng (“默认”）
使用整个数据集训练袋装分类树的集合。指定50弱的学习者。存储每个树的包外观察结果。默认情况下,TreeBagger长在树的深处。
Mdl = TreeBagger(50,X,Y，.．.方法=“分类”，.．.OOBPrediction =“上”）
Mdl = TreeBagger集成50个袋装决策树:训练X: [150x4]训练Y: [150x1]方法:分类NumPredictors: 4 NumPredictorsToSample: 2 MinLeafSize: 1 InBagFraction: 1 SampleWithReplacement: 1 ComputeOOBPrediction: 1 ComputeOOBPredictorImportance: 0邻近性:[]ClassNames: 'setosa' 'versicolor' 'virginica'属性，方法
Mdl是一个TreeBagger用于分类树的集成。
的Mdl。树属性是一个50 × 1的单元格向量，其中包含为集成训练的分类树。每棵树都是CompactClassificationTree对象。查看第一个训练好的分类树的图形显示。
视图(Mdl。树{1},Mode=“图”）
画出袋外分类误差除以生长的分类树的数量。
情节(oobError (Mdl)包含(“已生长树木数目”) ylabel (“袋外分类错误”）
袋外误差随着生长树木数量的增加而减小。
预测袋外观察的标签。显示10个观察的随机集合的结果。
oobLabels = oobPredict(Mdl);ind = randsample(length(oobLabels)，10);表(Y(印第安纳州),oobLabels(印第安纳州),.．.VariableNames = [“TrueLabel”“PredictedLabel”])
ans =10×2表TrueLabel PredictedLabel ______________ ______________ {' setosa’}{‘setosa}{‘virginica}{‘virginica}{‘setosa}{‘setosa}{‘virginica}{‘virginica}{‘setosa}{‘setosa}{‘virginica}{‘virginica}{‘setosa}{‘setosa}{“癣”}{“癣”}{“癣”}{‘virginica}{‘virginica} {' virginica '}
袋装回归树的训练集合
类的袋装回归树的集合carsmall数据集。然后，预测条件平均响应和条件四分位数。
加载carsmall数据集。创建X作为包含汽车发动机位移值的数值向量。创建Y作为一个数字向量，包含每加仑相应的英里数。
负载carsmallX =位移;Y = mpg;
将随机数发生器设置为默认的再现性。
rng (“默认”）
使用整个数据集训练袋装回归树的集合。指定100个弱学习器。
Mdl = TreeBagger(100,X,Y，.．.方法=“回归”）
Mdl = TreeBagger集成100个袋装决策树:训练X: [94x1]训练Y: [94x1]方法:回归NumPredictors: 1 NumPredictorsToSample: 1 MinLeafSize: 5 InBagFraction: 1 SampleWithReplacement: 1 ComputeOOBPrediction: 0 ComputeOOBPredictorImportance: 0 Proximity:[]属性，方法
Mdl是一个TreeBagger用于回归树的集成。
对于样本内最小和最大位移之间的10个等距发动机位移，预测条件平均响应(YMean)和条件四分位数(YQuartiles)．
predX = linspace(min(X)，max(X)，10)';YMean = predict(Mdl,predX);YQuartiles = quantilePredict(Mdl,predX，.．.分位数= [0.25,0.5,0.75]);
绘制观察值、估计的平均响应和估计的四分位数。
持有在情节(X, Y,“o”）;plot(predX,YMean) plot(predX,YQuartiles) hold住从ylabel (“燃料经济”)包含(“发动机排量”)传说(“数据”，“平均响应”，.．.“第一四分位数”，“中值”，.．.，“第三四分位数”）
袋装回归树的无偏预测器重要性估计
创建两个袋装回归树集合，一个使用标准CART算法拆分预测器，另一个使用曲率测试拆分预测器。然后，比较两个集合的预测器重要性估计值。
加载carsmall数据集和变量转换气缸，制造行业,Model_Year分类变量。然后，显示类别变量中表示的类别数量。
负载carsmall圆柱=分类(圆柱);Mfg = categorical(cellstr(Mfg));Model_Year = categorical(Model_Year);元素个数(类别(气缸))
Ans = 3
元素个数(类别(有限公司))
Ans = 28
元素个数(类别(Model_Year))
Ans = 3
创建一个包含8个汽车指标的表。
Tbl = table(加速度，气缸，位移，.．.马力,生产厂,Model_Year、重量、MPG);
将随机数发生器设置为默认的再现性。
rng (“默认”）
使用整个数据集训练200个袋装回归树的集合。因为数据有缺失值，所以指定使用代理分割。存储袋外信息，用于预测器重要性估计。
默认情况下,TreeBagger使用标准CART，一种分割预测器的算法。因为变量气缸而且Model_Year每个只包含三个类别，标准CART倾向于在这两个变量上分割一个连续的预测器。
MdlCART = TreeBagger(200,Tbl;“英里”，.．.方法=“回归”代理=“上”，.．.OOBPredictorImportance =“上”）;
TreeBagger在属性中存储预测器重要性估计值OOBPermutedPredictorDeltaError．
impCART = MdlCART.OOBPermutedPredictorDeltaError;
使用整个数据集训练200棵回归树的随机森林。要生长无偏树，请指定使用曲率测试来分割预测器。
MdlUnbiased = TreeBagger(200,Tbl，“英里”，.．.方法=“回归”代理=“上”，.．.PredictorSelection =“弯曲”，.．.OOBPredictorImportance =“上”）;impUnbiased = MdlUnbiased.OOBPermutedPredictorDeltaError;
创建条形图来比较预测器的重要性估计impCART而且impUnbiased对于两个合奏。
tiledlayout(1、2、填充=“紧凑”）;nexttile栏(impCART)“标准车”) ylabel (“预测器重要性估计”)包含(“预测”) h = gca;h.XTickLabel = MdlCART.PredictorNames;h.XTickLabelRotation = 45;h.TickLabelInterpreter =“没有”；nexttile酒吧(impUnbiased);标题(“弯曲测试”) ylabel (“预测器重要性估计”)包含(“预测”) h = gca;h.XTickLabel = MdlUnbiased.PredictorNames;h.XTickLabelRotation = 45;h.TickLabelInterpreter =“没有”；
对于CART模型，连续预测器重量是第二重要的预测因素。对于无偏模型，的预测器重要性重量在价值和排名上较小。
高阵列上袋装分类树的训练集合
训练高阵列观测的袋装分类树集合，求加权观测模型中每棵树的误分类概率。本例使用数据集airlinesmall.csv，这是一个包含航空公司航班数据表格文件的大型数据集。
在高数组上执行计算时，MATLAB®使用并行池(如果有并行计算工具箱™，则默认为并行池)或本地MATLAB会话。若要在具有并行计算工具箱时使用本地MATLAB会话运行示例，请使用mapreduce函数。
mapreduce (0)
创建一个引用包含数据集的文件夹位置的数据存储。选择要处理的变量子集，并进行处理“NA”值作为缺失数据，以便数据存储函数将它们替换为南值。制作高桌子tt在数据存储中包含数据。
数据存储(“airlinesmall.csv”）;ds。年代electedVariableNames = [“月”“DayofMonth”“DayOfWeek”，.．.“DepTime”“ArrDelay”“距离”“DepDelay”];ds。TreatAsMissing =“NA”；Tt =高(ds)
tt = Mx7高表月DayofMonth DayOfWeek DepTime DepDelay ArrDelay距离 _____ __________ _________ _______ ________ ________ ________ 10 21 642 8 308年12 26 10 23 5 1 1021 8 296 2055 21 480 1332 10 23 5 13 296 12 10 22 4 629 373 1 10 28 3 1446 59 308 63 10 8 4 928 447 2 10 10 6 859 11 954 1 : : : : : : : : : : : : : :
通过定义一个适用于晚点航班的逻辑变量，确定晚点10分钟或更长时间的航班。这个变量包含类标签Y．该变量的预览包括前几行。
Y = tt。10 . DepDelay >
Y = Mx1高逻辑阵列1 0 1 1 0 1 0 0::
创建一个高数组X对于预测器数据。
X = tt{:，1:end-1}
X = Mx6高双矩阵1021 3 642 8 308 10 26 1 1021 8 296 10 23 5 2055 21 480 10 23 5 1332 13 296 10 22 4 629 4 373 10 28 3 1446 59 308 10 8 4 928 3 447 10 10 10 6 859 11 954::::::::::::
创建一个高数组W通过任意地为第一类观测值分配双重权重来获得观测值的权重。
W = y +1;
删除中的行X，Y,W其中包含丢失的数据。
R = rmmissing([X Y W]);X = R(:，1:end-2);Y = R(:，end-1);W = R(:，end);
使用整个数据集训练20个袋装分类树的集合。指定一个权重向量和统一的先验概率。为了重现性，使用设置随机数生成器的种子rng而且tallrng．根据工作人员的数量和tall数组的执行环境，结果可能有所不同。详细信息请参见控制代码运行的位置．
rng (“默认”) tallrng (“默认”tMdl = TreeBagger(20,X,Y，.．.重量= W =“统一”）
使用本地MATLAB会话计算tall表达式:-通过1 / 1:在0.91秒内完成，在1.1秒内完成，使用本地MATLAB会话计算tall表达式:-通过1 / 1:在1.4秒内完成，在1.5秒内完成，使用本地MATLAB会话计算tall表达式:-通过1 / 1:在5.5秒内完成，在5.5秒内完成
tMdl = CompactTreeBagger集成20个袋装决策树:方法:分类NumPredictors: 6类名:'0' '1'属性，方法
tMdl是一个CompactTreeBagger集成了20个袋装决策树。对于大数据，使用TreeBagger函数返回CompactTreeBagger对象。
计算模型中每棵树的误分类概率。属性向量中包含的权重W对每一个观察使用权重名称-值参数。
terr = error(tMdl,X,Y,Weights=W)
使用本地MATLAB会话评估tall表达式:-通过1 / 1:在5.3秒内完成评估在5.4秒内完成
恐怖分子=20×10.1420 0.1214 0.1115 0.1078 0.1037 0.1027 0.1005 0.0997 0.0981 0.0983
求决策树集合的平均错误分类概率。
Avg_terr = mean(terr)
Avg_terr = 0.1022
更多关于
提示
对于一个
TreeBagger模型Mdl,树属性包含的单元格向量Mdl。NumTreesCompactClassificationTree或CompactRegressionTree对象。命令的图形显示t长成的树进入:视图(Mdl.Trees {t})对于回归问题，
TreeBagger金宝app支持均值和分位数回归(即分位数回归森林)［5］)．为了预测平均响应或估计给定数据的均方误差，传递a
TreeBagger对象的模型和数据预测或错误,分别。若要对袋外观察执行类似操作，请使用oobPredict或oobError．为了估计响应分布的分位数或给定数据的分位数误差，传递a
TreeBagger对象的模型和数据quantilePredict或quantileError,分别。若要对袋外观察执行类似操作，请使用oobQuantilePredict或oobQuantileError．
标准CART倾向于选择包含许多不同值(如连续变量)的分割预测器，而不是包含很少不同值(如分类变量)的分割预测器[4]．考虑指定曲率或交互测试，如果以下任何一个是真的:
与其他预测器相比，该数据具有相对较少的不同值的预测器;例如，预测器数据集是异构的。
您的目标是分析预测器的重要性。
TreeBagger中存储预测器重要性估计OOBPermutedPredictorDeltaError财产。
有关预测器选择的更多信息，请参阅name-value参数
PredictorSelection用于分类树或名称-值参数PredictorSelection对于回归树。
算法
如果您指定
成本，之前,权重参数时，输出模型对象将指定的值存储在成本，之前,W属性,分别。的成本属性存储用户指定的成本矩阵(C)，无需修改。的之前而且W属性分别存储归一化后的先验概率和观测权重。对于模型训练，软件更新先验概率和观察权重，以纳入成本矩阵中描述的惩罚。详细信息请参见错误分类成本矩阵，先验概率和观察权重．的
TreeBagger函数通过错分类代价大的过采样类和错分类代价小的过采样类生成袋内样本。因此，袋外样本对错误分类代价大的类的观测值较少，而对错误分类代价小的类的观测值较多。如果使用小数据集和高度倾斜的成本矩阵训练分类集合，那么每个类的袋外观察数可能非常低。因此，估计的袋外误差可能有很大的方差，难以解释。同样的现象也会发生在具有较大先验概率的类上。有关如何
TreeBagger函数选择分裂预测器，有关函数生长决策树时的节点分裂算法的信息，请参见算法对于分类树和算法对于回归树。
选择功能
统计和机器学习工具箱™为装袋和随机森林提供了三个对象:
RegressionBaggedEnsemble对象创建的fitrensemble回归函数TreeBagger对象创建的TreeBagger分类和回归函数
之间的详细区别TreeBagger以及袋装套装(ClassificationBaggedEnsemble而且RegressionBaggedEnsemble),看树木装袋和装袋套装的比较．
参考文献
[1] Breiman, Leo。“随机森林。”机器学习45(2001): 5-32。https://doi.org/10.1023/A:1010933404324．
[2] Breiman, Leo, Jerome Friedman, Charles J. Stone和R. A. Olshen。分类与回归树．佛罗里达州博卡拉顿:CRC出版社，1984年。
[3]陆伟音。“无偏变量选择和交互检测的回归树。”Statistica中央研究院12,没有。2(2002): 361-386。https://www.jstor.org/stable/24306967．
[4]罗伟寅、施玉山。分类树的分割选择。Statistica中央研究院7,不。4(1997): 815-840。https://www.jstor.org/stable/24306157．
[5] Meinshausen, Nicolai。“分位数回归森林。”机器学习研究杂志7,不。35(2006): 983-999。https://jmlr.org/papers/v7/meinshausen06a.html．
[6] Genuer, Robin, Jean-Michel Poggi, Christine tuloau - malot和Nathalie Villa-Vialanei。“大数据随机森林”。大数据研究9(2017): 28-46。https://doi.org/10.1016/j.bdr.2017.07.003．
扩展功能
版本历史
在R2009a中引入
您也可以从以下列表中选择一个网站: