アンサンブル分類における不均衡データまたは一様ではない誤分類コストの処理

多くの応用で、データのクラスを非対称的に処理したい場合があります。たとえば、あるクラスの観測値が他のクラスよりはるかに多くデータに含まれている場合があります。また、あるクラスの観測値を誤分類すると、別のクラスの観測値を誤分類する場合より深刻な結果になることもあります。このような場合は、RUSBoost アルゴリズムを使用 ('Method'として'rusboost'を指定) するか、fitcensembleの名前値のペア引数引数'事先的'または'Cost'を使用でき。

过小または表现れてクラス学习セット含まれている场合は，，名前ととペアペアペア'事先的'または RUSBoost アルゴリズムを使用します。たとえば、シミュレーションによって学習データを取得するとします。クラスAのシミュレートはクラスBのシミュレート计算负荷高いので，クラスAの観测は少なく，クラスBの観測値は多く生成することにします。しかし、実際の (シミュレートしたのではない) 状況では、クラスAとクラスBの混合比率が異なると考えられます。このようなケースでは、'事先的'を使用して、実際の状況で観測されると考えられる値に近づくようにクラスAおよびBの事前を设定し关数关数fitcensembleは，合計が1になるように事前確率を正規化します。すべての事前確率に同じ正の係数を乗算しても、分類の結果に影響はありません。不均衡なデータを処理する方法には、RUSBoostアルゴリズム ('Method'，“ rusboost”) を使用するものもあります。このアルゴリズムを使用する場合、事前確率を調整する必要はありません。詳細は、ランダム アンダーサンプリング ブースティングと不均衡データで分类を参照してください。

学習データでは適切に表現されているクラスを非対称的に処理するには、名前と値のペアの引数'Cost'を使用します。癌患者の良性腫瘍と悪性腫瘍を分類したいとします。悪性腫瘍の特定に失敗すること (偽陰性) は、良性を悪性と誤診する (偽陽性) よりも深刻な結果をもたらします。悪性を良性と誤診する場合には高いコストを、良性を悪性と誤診する場合には低いコストを割り当てなければならないはずです。

誤分類のコストは、非負の要素をもつ正方行列として渡さなければなりません。この行列の要素C(i,j)は，真のクラスがiである场合，観测値クラスクラスjに分类コストをます。コスト行列C(i,i)の対角要素は、0でなければなりません。前の例では、悪性腫瘍をクラス 1、良性腫瘍をクラス 2 として選択できます。この場合、コスト行列は次のように設定できます。

c> 1はは悪性肿疡を良性误诊し场合のを表し表しますます。。。は相対値値です。。すべてすべてのコストコストに同じ同じ正因子乘算てしししも

クラスが 2 つだけの場合、fitcensembleではi = 1,2およびj≠iであるクラスについて ${\tilde{P}}_i=C_{ij}{P}_i$を使用して事前確率を調整します。P_iは，fitcensembleに渡した事前確率または学習データのクラス頻度から計算された事前確率です。 $${\tilde{P}}_i$$は，調整された事前確率です。次に、fitcensembleは既定コスト行列使用します。

さらに、これらの調整済みの確率を弱学習器の学習に使用します。つまり、コスト行列の操作は事前確率の操作と等価です。

3 つ以上のクラスを使用する場合も、fitcensembleは入力コストを調整済み事前確率に変換します。この変換はさらに複雑です。まず、fitcensembleliuのliuの[1]で説明されている行列方程式を解こうとします。解を求めるのに失敗した場合は、fitcensembleはbreimanなどによって说明れいるいるいる平均コストコストコストををしし[2]。詳細はZadrozny,朗格弗德および安[3]を参照してください。

options = weboptions('ContentType','文本'); hepatitis = textscan(webread(['http://archive.ics.uci.edu/ml/'...'machine-learning-databases/hepatitis/hepatitis.data'),选择),...' % % f % f%f%f%f%f%f%f%f%f%f%f%f%f%f%f%f%f%f','Delimiter','，',...'EndOfLine','\ n','TreatAsEmpty','?'); size(hepatitis)

ans =1×21 20

varnames = {'dieOrLive''年龄''性别''steroid'“抗病人”'fatigue'...“不适”“厌食”'liverBig''liverFirm''脾'...'spiders''ascites'“静脉曲张”'bilirubin'“烷磷酸盐”'sgot'...'albumin''protime'“组织学”};

X = cell2mat(hepatitis(2:end)); ClassNames = {'Die''Live'};Y = ClassNames(hepatitis{:,1});

图barh（sum（isnan（x），1）/size（x，1））h = gca;h.ytick = 1：numel（varnames）-1;h.yticklabel = varnames（2：end）;ylabel（'Predictor'）xlabel（'Fraction of missing values')

rng(0,'twister')％可再现性t = Templatetree（'surrogate','all');

X(1:5,:)

ans =5×1930.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.0000 85.0000 18.0000 4.0000 NaN 1.0000 50.0000 1.0000 1.0000 2.0000 1.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 0.9000 135.0000 42.0000 3.5000 NaN 1.0000 78.0000 1.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.00002.0000 0.7000 96.0000 32.0000 4.0000 NaN 1.0000 31.0000 1.0000 NaN 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 0.7000 46.0000 52.0000 4.0000 80.0000 1.0000 34.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.0000 NaN 200.0000 4.0000 NaN 1.0000

catIdx = [2:13,19];

Ensemble = fitcensemble(X,Y,'Method',',...'NumLearningCycles'，150，'Learners'，t，'PredictorNames',VarNames(2:end),...'LearnRate',0.1,'CategoricalPredictors'，catidx，'KFold',5); figure plot(kfoldLoss(Ensemble,'Mode',“累积”,'LossFun','exponential'）xlabel（'Number of trees'）ylabel（'Cross-validated exponential loss')

[yfit，sfit] = kfoldpredict（Ensemble）;ConfusionChart（Y，YFIT）

cost.classnames = classNames;cost.classificationcosts = [0 5;1 0];

EnsembleCost = fitcensemble(X,Y,'Method',',...'NumLearningCycles'，150，'Learners'，t，'PredictorNames',VarNames(2:end),...'LearnRate',0.1,'CategoricalPredictors'，catidx，'KFold'，5，'Cost',cost); [yFitCost,sFitCost] = kfoldPredict(EnsembleCost); confusionchart(Y,yFitCost)

参考

fitcensemble|templateTree|kfoldLoss|kfoldPredict|confusionchart

関連するトピック

• 代理分岐
• アンサンブル アルゴリズム
• アンサンブル品質テスト
• 不均衡データで分类
• 小さいアンサンブルでlpboostと
• 鲁棒boost