处理不平衡数据分类合奏中或不平等的误分类成本

在许多应用程序中,您可能倾向于治疗类数据进行不对称。例如,数据可能会有更多的观察比其他任何一个类。或一个类有多个分类的观察比分类观察另一个类的严重后果。在这种情况下,您可以使用RUSBoost算法(指定“方法”作为“RUSBoost”)或使用名称-值对的论点“之前”或“成本”的fitcensemble。

如果某些类是弱势或在你的训练集,过多使用“之前”名称-值对的论点或RUSBoost算法。例如,假设您通过仿真获得你的训练数据。因为模拟类一个比模拟类更贵B,你选择生成更少的观察类一个和更多的观察类B。然而,期望是类一个和类B以不同的比例混合现实(nonsimulated)的情况。在这种情况下,使用“之前”设置类的先验概率一个和B约您期望的值观察实际情况。的fitcensemble函数可实现先验概率,使它们加起来1。所有的先验概率乘以相同的积极因素不会影响分类的结果。处理不平衡数据的另一种方法是使用RUSBoost算法(“方法”、“RUSBoost”)。您不需要使用这个算法时调整先验概率。有关详细信息,请参见随机采样提高和与不平衡数据分类。

如果类中充分体现培训数据,但是你想把他们不对称,使用“成本”名称-值对的论点。假设您想分类癌症患者的良性和恶性肿瘤。未能识别恶性肿瘤(假阴性)的严重后果远远大于识别错良性,恶性(假阳性)。你应该分配识别错恶性,良性的高成本和低成本识别错良性恶性。

你必须通过误分类成本与非负元素作为一个方阵。元素C (i, j)这个矩阵的分类的成本是一个观察到类j如果真正的类我。对角线元素C(我)矩阵必须的费用0。对于前面的示例,您可以选择恶性肿瘤类1和良性肿瘤类2。然后你可以设置成本矩阵

在哪里c> 1的成本识别错恶性肿瘤是良性的。成本都relative-multiplying成本同样的积极因素不会影响分类的结果。

如果你只有两类,fitcensemble调整他们的先验概率 ${\tilde{P}}_{我}=C_{我j}{P}_{我}$为类我= 1,2和j≠我。P_我先验概率要么传递到吗fitcensemble在训练数据或从类频率计算,和 $${\tilde{P}}_{我}$$调整先验概率。fitcensemble使用概率调整培训其脆弱的学习者和不使用成本矩阵。操纵成本矩阵从而相当于操纵先验概率。

如果你有三个或更多的类,fitcensemble也将投入成本转化为先验概率调整。这种转换是更复杂的。首先,fitcensemble试图解决一个矩阵方程描述的周和刘[1]。如果不能找到一个解决方案,fitcensemble适用于描述的“平均成本”调整Breiman et al。[2]。有关更多信息,请参见Zadrozny、朗格弗德和安倍[3]。

选择= weboptions (“ContentType”,“文本”);肝炎= textscan (webread ([“http://archive.ics.uci.edu/ml/”…“machine-learning-databases /肝炎/ hepatitis.data”),选择),…“% % % f % f % % % f % f % % % f % f % % % f % f % % % f % f ',“分隔符”,”、“,…“EndOfLine”,' \ n ',“TreatAsEmpty”,“?”);大小(肝炎)

ans =1×21 20

VarNames = {“dieOrLive”“年龄”“性”“类固醇”抗病毒药物的“疲劳”…“不舒服”“厌食症”“liverBig”“liverFirm”“脾”…“蜘蛛”腹水的“静脉曲张”胆红素的“alkPhosphate”“血清谷”…白蛋白的“protime”组织学的};

X = cell2mat(肝炎(2:结束));一会= {“死”“生活”};Y =一会(肝炎{:1});

图barh(总和(isnan (X), 1) /尺寸(X, 1) h = gca;h。YTick = 1:numel(VarNames) - 1; h.YTickLabel = VarNames(2:end); ylabel(“预测”)包含(缺失值的分数)

rng (0,“旋风”)%的再现性t = templateTree (“代孕”,“所有”);

:X (1:5)

ans =5×1930.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.0000 85.0000 18.0000 4.0000南1.0000 50.0000 1.0000 1.0000 2.0000 1.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 0.9000 135.0000 42.0000 3.5000南1.0000 78.0000 1.0000 2.0000 2.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 - 2.0000 2.0000 - 0.7000 31.0000 - 1.0000 1.0000 96.0000 32.0000 4.0000南南1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 0.7000 46.0000 52.0000 4.0000 80.0000 1.0000 34.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 2.0000 1.0000 200.0000 - 4.0000 2.0000 2.0000 1.0000南南

catIdx = (13、19);

合奏= fitcensemble (X, Y,“方法”,“GentleBoost”,…“NumLearningCycles”,50岁,“学习者”t“PredictorNames”VarNames(2:结束),…“LearnRate”,0.1,“CategoricalPredictors”catIdx,“KFold”5);

[yFit, sFit] = kfoldPredict(套装);yFit confusionchart (Y)

成本。ClassNames = ClassNames; cost.ClassificationCosts = [0 5; 1 0];

EnsembleCost = fitcensemble (X, Y,“方法”,“GentleBoost”,…“NumLearningCycles”,50岁,“学习者”t“PredictorNames”VarNames(2:结束),…“LearnRate”,0.1,“CategoricalPredictors”catIdx,“KFold”5,“成本”、成本);[yFitCost, sFitCost] = kfoldPredict (EnsembleCost);yFitCost confusionchart (Y)

另请参阅

fitcensemble|templateTree|kfoldLoss|kfoldPredict|confusionchart

相关的话题

• 代理分裂
• 整体算法
• 测试整体质量
• 与不平衡数据分类
• LPBoost TotalBoost小乐队
• 曲调RobustBoost
• 误分类代价矩阵、先验概率和观察权重