このページの翻訳は最新ではありません。ここをクリックして,英語の最新版を参照してください。
fitensemble
分類および回帰のアンサンブル学習器の当てはめ
構文
説明
fitensembleは,決定木学習器または判別分析分類器のブースティングまたはバギングを行うことができます。また,KNN のランダム部分空間アンサンブルまたは判別分析分類器に学習をさせることもできます。
よりシンプルなインターフェイスでアンサンブル分類およびアンサンブル回帰をあてはめるには,それぞれfitcensembleおよびfitrensembleを代わりに使用します。また,fitcensembleとfitrensembleにはベイズ最適化のためのオプションもあります。
例
ブースティングアンサンブルの再代入損失の推定
学習されたブースティングアンサンブル分類の決定木について,再代入損失を推定します。
电离层データセットを読み込みます。
负载电离层；
100年演算法,学習サイクルおよびデータセット全体を使用して,決定木アンサンブルを学習させます。
ClassTreeEns = fitensemble (X, Y,“AdaBoostM1”, 100,“树”）;
ClassTreeEnsは学習させたClassificationEnsembleアンサンブル分類器です。
累積再代入損失(学習データのラベルの累積誤分類誤差)を特定します。
rsLoss = resubLoss (ClassTreeEns,“模式”，“累积”）;
rsLossは 100行 1.列のベクトルです。要素kには最初のk学習サイクルの後の再代入損失が格納されます。
学習サイクル数の上に累積再代入損失をプロットします。
绘图（rsLoss）；xlabel(“学习周期的数量”）;ylabel (“Resubstitution损失”）;
一般的に,学習させたアンサンブル分類の決定木の数が増加すると,再代入損失は減少します。
再代入損失の減少は,アンサンブル学習が十分に行われていることを示す可能性もあります。ただし,この減少からアンサンブルの予測力を推定することはできません。アンサンブルの予測力を測定するには,次の方法で汎化誤差を推定します。
データを学習セットと交差検証セットに無作為に分割します。この操作を行うには、
fitensembleを使用してアンサンブルを学習させる際に“坚持”，坚持输出比例を指定します。学習させたアンサンブルを
kfoldLossに渡します。これにより,汎化誤差が推定されます。
アンサンブル回帰に学習をさせる
学習およびブースティング回帰木のアンサンブルを使用して、自動車の燃費を予測します。予測子として気筒数、気筒ごとの排気量、馬力、重量を選択します。次に、予測子の数を減らしてアンサンブルに学習をさせ、初めのアンサンブルに対して標本内予測精度を比較します。
carsmallデータセットを読み込みます。学習データをテーブルに格納します。
负载carsmall台=表(汽缸、排量、马力、重量、MPG);
代理分岐を使用する回帰木テンプレートを指定し,南値が存在する場合の予測精度を向上させます。
t = templateTree (“代孕”，“上”）;
LSBoostと 100学習サイクルを使用して、アンサンブル回帰木を学習させます。
Mdl1 = fitensemble(资源描述,“英里”，“LSBoost”，100，t）；
Mdl1は学習させた回归套アンサンブル回帰です。英里/加仑はMATLAB®ワークスペースの変数なので,次のように入力すると同じ結果を得ることができます。
Mdl1=fitensemble（总载重、每加仑、LSBoost、100吨）；
学習させたアンサンブル回帰を使用して,排気量が200立方インチ,150馬力,重量3000磅の4気筒搭載車の燃費を予測します。
predMPG = predict(Mdl1，[4 200 150 3000])
predMPG=22.8462
この仕様の自動車の平均燃費は21.78 mpgです。
位移を除く资源描述内の予測子をすべて使用して,新しいアンサンブルに学習をさせます。
公式='MPG ~气缸+马力+重量'；Mdl2 = fitensemble(资源描述公式,“LSBoost”，100，t）；
Mdl1とMdl2の再代入MSEを比較します。
mse1 = resubLoss (Mdl1)
mse1 = 6.4721
mse2 = resubLoss (Mdl2)
mse2 = 7.8599
すべての予測子に対して学習を行ったアンサンブルの方が、標本内 微卫星が小さくなります。
ブースティングアンサンブルの汎化誤差の推定
決定木の,学習されたブースティングアンサンブル分類の汎化誤差を推定します。
电离层データセットを読み込みます。
负载电离层；
100年AdaBoostM1,学習サイクル無作為に選択された半分のデータを使用して,決定木アンサンブルを学習させます。残りの半分を使用してアルゴリズムが検証されます。
rng（2）；%为了再现性ClassTreeEns = fitensemble (X, Y,“AdaBoostM1”, 100,“树”，．..“坚持”, 0.5);
ClassTreeEnsは学習させたClassificationEnsembleアンサンブル分類器です。
累積汎化誤差(検証データのラベルの累積誤分類誤差)を特定します。
genError=kfoldLoss（类别树，“模式”，“累积”）;
genErrorは 100行 1.列のベクトルです。要素kには最初のk学習サイクルの後の汎化誤差が格納されています。
学習サイクル数の上に汎化誤差をプロットします。
绘图（genError）；xlabel(“学习周期的数量”）;ylabel (泛化误差的）;
25件の弱学習器がアンサンブル分類器を構成している場合、累積汎化誤差は約 7% まで低下します。
アンサンブルに対して最適な分割数と木の数の探索
決定木のアンサンブルにおける木の深さを制御できます。また,名前と値のペアの引数最大数分裂、MinLeafSizeまたはMinParentSizeを使用すると,決定木バイナリ学習器が含まれているECOCモデルにおける木の深さも制御できます。
決定木をバギングする場合,既定の設定では
fitensembleは深い決定木を成長させます。モデルの複雑さや計算時間の削減のために,より浅い木を成長させることもできます。決定木をブースティングする場合、既定の設定では
fitensembleは切り株 (1 つの分割がある木) を成長させます。木を深くすると、精度を向上させることができます。
carsmallデータセットを読み込みます。変数加速度、位移、马力および重量を予測子として,英里/加仑を応答として指定します。
负载carsmallX =[加速度位移马力重量];Y = MPG;
回帰木をブースティングする場合,木の深さの制御に関する既定値は次のとおりです。
最大数分裂は1。このオプションは切り株を成長させます。5(次の場合)MinLeafSize10(次の場合)MinParentSize
最適な分割数は次により求めます。
一連のアンサンブルを学習させます。以後のアンサンブルの最大分割数を、切り株から最大n- 1個の分割まで指数的に増やします。nは学習標本のサイズです。また、アンサンブルごとの学習率を 1.から 0.1に減らします。
アンサンブルの交差検証を実行します。
アンサンブルごとに交差検証の平均二乗誤差(MSE)を推定します。
交差検証のMSEを比較します。MSEが最も小さいアンサンブルは性能が最適であり,そのデータセットに最適な最大分割数,木の数,および学習率も表示されます。
深い回帰木と切り株を成長させ交差検証を実行します。欠損値がデータに含まれているので,代理分岐を使用するように指定します。これらはベンチマークとして機能します。
MdlDeep = fitrtree (X, Y,“CrossVal”，“上”，“MergeLeaves”，“关闭”，．..“MinParentSize”1.“代孕”，“上”）;MdlStump = fitrtree (X, Y,“MaxNumSplits”1.“CrossVal”，“上”，“代孕”，“上”）;
150年個の回帰木を使用してブースティングアンサンブルを学習させます。アンサンブルに対して5分割の交差検証を実行します。 という数列の値を使用して分割の最大数を変化させます。米は, がn- 1を超えない値です。nは学習標本のサイズです。{0.1,0.25,0.5,1};という集合の各値に対して,それぞれの学習率を調整します。
n =大小(X, 1);M =底(log2(n - 1));Lr = [0.1 0.25 0.5 1];maxNumSplits = 2。^ (0:m);numTrees = 150;Mdl =细胞(元素个数(maxNumSplits),元素个数(lr));rng (1);%为了再现性为k = 1:元素个数(lr);为j = 1:元素个数(maxNumSplits);t = templateTree (“MaxNumSplits”maxNumSplits (j),“代孕”，“上”）;Mdl {j, k} = fitensemble (X, Y,“LSBoost”numTrees t．..“类型”，“回归”，“KFold”5.“LearnRate”，lr（k））；结束；结束；
各アンサンブルについて相互検定のMSEを計算します。
kflAll = @ (x) kfoldLoss (x,“模式”，“累积”)；errorCell=cellfun（kflAll、Mdl、，“统一”、假);error = replaceall (cell2mat(errorCell)，[numTrees nummel (maxnumsplents) nummel (lr)]); / /重新命名errorDeep = kfoldLoss (MdlDeep);errorStump = kfoldLoss (MdlStump);
少数のアンサンブル,深い木,切り株について,アンサンブルの木の数が増加すると交差検証のMSEがどのように変化するかをプロットします。同じプロットで,学習率に関する曲線をプロットします。木の複雑さの変化を別のプロットにプロットします。木の複雑さのレベルのサブセットを選択します。
mnsPlot = [1 round(nummel (maxnumsplents)/2) nummel (maxnumsplents)];图;为k = 1:3;次要情节(2 2 k);情节(挤压(错误(:,mnsPlot (k):)),“线宽”2);轴紧；持有在；甘氨胆酸h =;情节(h。XLim,[errorDeep errorDeep],“。b”，“线宽”2);情节(h。XLim,[errorStump errorStump],“r”，“线宽”2);情节(h.XLim min (min(错误(:,mnsPlot (k):)))。* [1],“——k”）;h.YLim = [10 50];包含树木的数量；伊莱贝尔“交叉验证MSE”；标题(sprintf (“MaxNumSplits = % 0.3 g”maxNumSplits (mnsPlot (k))));持有从；结束；hL=图例（[cellstr（num2str）（lr'，'学习率= %0.2f'））;．..“深树”；“树桩”；“最小MSE。”]); 位置（1）=0.6；
各曲線では、アンサンブル内の木の本数が最適な位置で交差検証の 微卫星が最小になります。
全体的にMSEが最小になる最大分割数,木の数および学習率を特定します。
[minErr, minErrIdxLin] = min(错误(:));[idxNumTrees, idxMNS idxLR] = ind2sub(大小(错误),minErrIdxLin);流(“\n分钟。MSE=%0.5f'minErr)
最小MSE = 18.42979
流('\n临时参数值：\nNum.Trees=%d', idxNumTrees);
最优参数值:Num. Trees = 1
流('\ nmaxnumpartitions = %d\nLearning Rate = %0.2f\n'，．..maxNumSplits（idxMNS），lr（idxLR））
学习速率= 1.00
このアンサンブルを最適化する別の方法については,ブースティング回帰アンサンブル回帰の最適化を参照してください。
入力引数
出力引数
ヒント
NLearnは数十から数千までさまざまな数になります。通常,予測力が高いアンサンブルでは数百から数千の弱学習器が必要です。しかし,このような多数のサイクルの学習をアンサンブルが一度に行う必要はありません。数十個の学習器の学習から開始してアンサンブルの性能を調査し,必要な場合は分類問題用の的简历または回帰問題用の的简历を使用して弱学習器の数を増やすことができます。アンサンブルの性能は、アンサンブルの設定と弱学習器の設定によって決まります。つまり、既定のパラメーターを使用する弱学習器を指定すると、アンサンブルの性能が低下する可能性があります。このため、アンサンブルの設定と同じように、テンプレートを使用して弱学習器のパラメーターを調整し、汎化誤差が最小になる値を選択することをお勧めします。
重新取样を使用してリサンプリングを指定する場合は,データセット全体に対してのリサンプリングをお勧めします。つまり,FResampleの既定設定である1を使用します。分類問題の場合(つまり,
类型が“分类”の場合)アンサンブル集約法(
方法)が“包”で、誤分類コスト(
费用)が非常に不均衡である場合,在袋子の標本について,ペナルティが大きいクラスから一意な観測値がオーバーサンプリングされます。クラスの事前確率(
之前)の歪みが大きい場合,事前確率が大きいクラスから一意な観測値がオーバーサンプリングされます。
これらの組み合わせにより,標本サイズが小さい場合,ペナルティまたは事前確率が大きいクラスから抽出されるout-of-bag観測値の相対頻度が低くなる可能性があります。この結果,out-of-bagの推定誤差の変動幅が非常に大きくなり,解釈が困難になる可能性があります。特に標本サイズが小さい場合に,out-of-bagの推定誤差の変動幅が大きくならないようにするには,
费用を使用して誤分類コスト行列をより平衡にするか,之前を使用して事前確率ベクトルの歪みを小さくします。一部の入力引数および出力引数の順序は学習データ内の各クラスに対応するので,名前と値のペアの引数
一会を使用してクラスの順序を指定することをお勧めします。クラスの順序を簡単に求めるには,未分類の(つまり欠損ラベルがある)観測値を学習データからすべて削除し,異なるクラスがすべて含まれている配列を取得および表示してから,その配列を
一会に指定します。たとえば,応答変数 (Y)がラベルの细胞配列であるとします。次のコードは,変数一会でクラスの順序を指定します。Ycat =分类(Y);一会=类别(Ycat)
分类は<定义>を未分類観測値に割り当て,类别は<定义>を出力から除外します。したがって、このコードをラベルの 单间牢房配列に対して使用するか、同様のコードを 明确的配列に対して使用すると、欠損ラベルがある観測値を削除しなくても各クラスのリストを取得できます。最小相当ラベルから最大相当ラベルの順になるようにクラスの順序を指定するには,(前の項目のように)クラスの順序を簡単に調べ,リスト内のクラスの順序を頻度順に変更してから,リストを
一会に渡します。前の例に従うと,次のコードは最小相当から最大相当の順にクラスの順序をclassNamesLHで指定します。Ycat =分类(Y);一会=类别(Ycat);频率= countcats (Ycat);[~, idx] =(频率)进行排序;classNamesLH =一会(idx);
アルゴリズム
アンサンブル集約アルゴリズムの詳細については,アンサンブルアルゴリズムを参照してください。
方法がブースティングアルゴリズム,学习者が決定木になるように指定した場合,既定では“切り株”が成長します。決定株は、2.つの終端ノード (葉ノード) に接続されている 1.つのルート ノードです。木の深さは、templateTreeを使用して名前と値のペアの引数最大数分裂、MinLeafSizeおよびMinParentSizeを指定することにより調整できます。fitensembleは誤分類コストが大きいクラスをオーバーサンプリングし,誤分類コストが小さいクラスをアンダーサンプリングして,袋中の標本を生成します。その結果,out-of-bagの標本では,誤分類コストが大きいクラスの観測値は少なくなり,誤分類コストが小さいクラスの観測値は多くなります。小さいデータセットと歪みが大きいコスト行列を使用してアンサンブル分類に学習をさせる場合,クラスあたりのout-of-bag観測値の数が少なくなる可能性があります。このため,out-of-bagの推定誤差の変動幅が非常に大きくなり,解釈が困難になる可能性があります。事前確率が大きいクラスでも同じ現象が発生する場合があります。アンサンブル集約法(
方法)がRUSBoostである場合,名前と値のペアの引数比率最小では最小相当クラスに関して各クラスのサンプリングの比率を指定します。たとえば,学習データにA および B という 2 つのクラスがあるとします。A には 100 個の観測値、B には 10 個の観測値が含まれています。また、最小相当クラスでは米個の観測値が学習データに含まれているとします。“RatioToSmallest”,2を設定した場合,年代＊米2 * 10＝20.になります。したがって、fitensembleはクラスの20個の観測値とクラスBの20個の観測値を使用して,すべての学習器に学習をさせます。‘RatioToSmallest’,(2 - 2)を設定した場合も同じ結果になります。‘RatioToSmallest’,(2,1)を設定した場合,s1＊米2 * 10＝20.およびs2＊米1 * 10＝10になります。したがって、fitensembleはクラスの20個の観測値とクラスBの10個の観測値を使用して,すべての学習器に学習をさせます。
決定木のアンサンブルの場合とデュアルコア以上のシステムの場合,
fitensembleでは英特尔®スレッディング ビルディング ブロック （待定）を使用して学習を並列化します。英特尔TBBについての詳細は、https://software.intel.com/en-us/intel-tbbを参照してください。
参照
[1] Breiman, L.《套袋预测》。机器学习。1996年第26卷，123-140页。
[2] 《随机森林》，机器学习，第45卷，第5-32页，2001年。
[3] Freund, Y.“一个更健壮的助推算法。“v1 arXiv: 0905.2138, 2009。
[4] 《在线学习的决策理论推广及其在促进学习中的应用》，《计算机与系统科学杂志》，第55卷，第119-139页，1997年。
[5] Friedman, J. <贪婪函数近似:梯度增压机>《统计年鉴》，第29卷第5期，第1189-1232页，2001年。
Friedman, J.， T. Hastie，和R. Tibshirani。加性逻辑回归:助推的统计学观点《统计年鉴》，第28卷第2期，第337-407页，2000年。
Hastie, T.， R. Tibshirani, J. Friedman。统计学习的要素部分版，施普林格，纽约，2008。
[8] Ho，T.K.“构建决策森林的随机子空间方法”，《模式分析和机器智能IEEE学报》，第20卷，第8期，第832-844页，1998年。
Schapire r.e.， Y. Freund, P. Bartlett和W.S. Lee。“扩大差额:对投票方法有效性的新解释。”《统计年鉴》，第26卷第5期，第1651-1686页，1998年。
Seiffert, C.， T. Khoshgoftaar, J. Hulse和A. Napolitano。RUSBoost:在训练数据有偏差时提高分类性能。“第19届模式识别国际会议”，第1-4页，2008。
[11]温穆特，廖建军，陈志强。“完全正确的助推算法，使利润最大化。”Proc, 23日国际。机器学习大会，ACM，纽约，第1001-1008页，2006。
参考
ClassificationEnsemble|回归套|ClassificationBaggedEnsemble|RegressionBaggedEnsemble|ClassificationPartitionedEnsemble|RegressionPartitionedEnsemble|templateDiscriminant|templateKNN|templateTree
你也可以从以下列表中选择一个网站:
