rocmetricsgydF4y2Ba

计算的性能指标(玻璃钢和TPR)通过创建一个二进制分类问题gydF4y2BarocmetricsgydF4y2Ba使用对象,并绘制ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba这个数据集的数据集。34预测(gydF4y2BaXgydF4y2Ba)和351二进制响应(gydF4y2BaYgydF4y2Ba)雷达的回报,要么坏(gydF4y2Ba“b”gydF4y2Ba)或好(gydF4y2Ba‘g’gydF4y2Ba)。gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

分区数据分为训练集和测试集。使用大约80%的观察来训练支持向量机(SVM)模型,和20%的观察来测试新数据训练模型的性能。金宝app分区数据使用gydF4y2BacvpartitiongydF4y2Ba。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性分区gydF4y2Bac = cvpartition (Y,坚持= 0.20);trainingIndices =培训(c);gydF4y2Ba%训练集的指标gydF4y2BatestIndices =测试(c);gydF4y2Ba%测试集的指标gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

计算测试集的分类得分。gydF4y2Ba

[~,分数]=预测(Mdl XTest);大小(分数)gydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba70 2gydF4y2Ba

输出gydF4y2Ba分数gydF4y2Ba是一个矩阵的大小gydF4y2Ba70年gydF4y2Ba——- - - - - -gydF4y2Ba2gydF4y2Ba。列的顺序gydF4y2Ba分数gydF4y2Ba遵循课堂秩序gydF4y2BaMdlgydF4y2Ba。显示存储在类订单gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

Mdl.ClassNamesgydF4y2Ba

ans =gydF4y2Ba2 x1细胞gydF4y2Ba{b} {' g '}gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象通过使用真正的标签gydF4y2Ba欧美gydF4y2Ba和分类评分gydF4y2Ba分数gydF4y2Ba。指定的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

rocObj = rocmetrics(欧美,分数,Mdl.ClassNames);gydF4y2Ba

rocObjgydF4y2Ba是一个gydF4y2BarocmetricsgydF4y2Ba对象存储AUC值和每个类的性能指标gydF4y2BaAUCgydF4y2Ba和gydF4y2Ba指标gydF4y2Ba属性。显示gydF4y2BaAUCgydF4y2Ba财产。gydF4y2Ba

rocObj.AUCgydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba0.8587 - 0.8587gydF4y2Ba

二元分类问题,AUC值是相等的。gydF4y2Ba

的表gydF4y2Ba指标gydF4y2Ba包含两类的性能度量值,根据类垂直连接顺序。找到表中的第一行类,并显示前八行。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (1));头(rocObj.Metrics (idx:))gydF4y2Ba

ClassName阈值FalsePositiveRate TruePositiveRate替_________________ ___________ {b} 15.545 0 0 0 0.04 15.545 {b} {b} 15.105 0 0.08 {b} 11.424 0 0 10.077 0.16 {b} {b} 0.2 9.9716 0.24 {b} 9.9417 0 0 0.32 0.28 9.0338 {b}gydF4y2Ba

情节为每个类通过使用ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

情节(rocObj)gydF4y2Ba

对于每个类,gydF4y2Ba情节gydF4y2Ba功能块ROC曲线和标记显示一个实心圆模型操作点。传说显示类名和AUC值曲线。gydF4y2Ba

注意,您不需要检查ROC曲线为两类二元分类问题。两个ROC曲线对称,AUC值是相同的。一个类是一个真阴性率的TPR (TNR)其他类的,而且TNR 1-FPR。因此,TPR和玻璃钢的阴谋一个类是一样的一块1-FPR与1-TPR其他类。gydF4y2Ba

绘制ROC曲线只有指定的第一个类gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

情节(rocObj一会= Mdl.ClassNames (1))gydF4y2Ba

计算的性能指标(玻璃钢和TPR)通过创建一个多类分类问题gydF4y2BarocmetricsgydF4y2Ba为每个类对象,并绘制ROC曲线通过gydF4y2Ba情节gydF4y2Ba函数。指定gydF4y2BaAverageROCTypegydF4y2Ba名称-值参数gydF4y2Ba情节gydF4y2Ba创建的平均ROC曲线多类问题。gydF4y2Ba

加载gydF4y2BafisheririsgydF4y2Ba数据集。这个矩阵gydF4y2Ba量gydF4y2Ba包含150种不同的花的花测量。向量gydF4y2Ba物种gydF4y2Ba列出了每个花物种。gydF4y2Ba物种gydF4y2Ba包含三个不同的花的名字。gydF4y2Ba

负载gydF4y2BafisheririsgydF4y2Ba

训练一个分类树,将观察分为三个标签之一。旨在使用10倍交叉验证模型。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性gydF4y2BaMdl = fitctree(量、物种,Crossval =gydF4y2Ba“上”gydF4y2Ba);gydF4y2Ba

计算分类得分validation-fold观察。gydF4y2Ba

[~,分数]= kfoldPredict (Mdl);大小(分数)gydF4y2Ba

ans =gydF4y2Ba1×2gydF4y2Ba150年3gydF4y2Ba

输出gydF4y2Ba分数gydF4y2Ba是一个矩阵的大小gydF4y2Ba150年gydF4y2Ba——- - - - - -gydF4y2Ba3gydF4y2Ba。列的顺序gydF4y2Ba分数gydF4y2Ba遵循课堂秩序gydF4y2BaMdlgydF4y2Ba。显示存储在类订单gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

Mdl.ClassNamesgydF4y2Ba

ans =gydF4y2Ba3 x1细胞gydF4y2Ba{' setosa}{“癣”}{' virginica '}gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象通过使用真正的标签gydF4y2Ba物种gydF4y2Ba和分类评分gydF4y2Ba分数gydF4y2Ba。指定的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

rocObj = rocmetrics(物种,分数,Mdl.ClassNames);gydF4y2Ba

rocObjgydF4y2Ba是一个gydF4y2BarocmetricsgydF4y2Ba对象存储AUC值和每个类的性能指标gydF4y2BaAUCgydF4y2Ba和gydF4y2Ba指标gydF4y2Ba属性。显示gydF4y2BaAUCgydF4y2Ba财产。gydF4y2Ba

rocObj.AUCgydF4y2Ba

ans =gydF4y2Ba1×3gydF4y2Ba1.0000 0.9636 0.9636gydF4y2Ba

的表gydF4y2Ba指标gydF4y2Ba包含所有三个类的性能度量值,根据类垂直连接顺序。找到并显示表中的行第二课堂。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (2));rocObj.Metrics (idx:)gydF4y2Ba

ans =gydF4y2Ba13×4表gydF4y2Ba_____ _________________ ___________ ClassName阈值FalsePositiveRate TruePositiveRate * * *{“癣”}1 0 0{“癣”}1 0.01 - 0.7{“癣”}0.95455 0.02 0.8{“癣”}0.91304 0.03 0.9{“癣”}-0.2 0.04 0.9{“癣”}-0.33333 0.06 0.9{“癣”}-0.6 0.08 0.9{“癣”}-0.86957 0.12 0.92{“癣”}-0.91111 0.16 0.96{“癣”}-0.95122 0.31 0.96{“癣”}-0.95238 0.38 0.98{“癣”}-0.95349 0.44 0.98{“癣”}1 1 1gydF4y2Ba

为每个类绘制ROC曲线。指定gydF4y2BaAverageROCType = "微"gydF4y2Ba计算性能指标平均使用micro-averaging ROC曲线法。gydF4y2Ba

情节(rocObj AverageROCType =gydF4y2Ba“微观”gydF4y2Ba)gydF4y2Ba

标记的实心圆表示模型的操作点。传说显示类名和AUC值曲线。gydF4y2Ba

对于包含异常值的生成的样本,训练一个隔离森林模型和计算异常分数通过使用gydF4y2BaiforestgydF4y2Ba函数。gydF4y2BaiforestgydF4y2Ba返回分数作为一个向量。用分数来创建一个gydF4y2BarocmetricsgydF4y2Ba对象。情节precision-recall曲线使用异常分数,并找到森林模型的模型操作点隔离。gydF4y2Ba

使用高斯相关随机生成数据点的二维分布。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)ρ= [1,0.05,0.05,1];n = 1000;u = copularnd (gydF4y2Ba“高斯”gydF4y2Baρ,n);gydF4y2Ba

添加噪声的5%随机选择观察观察异常值。gydF4y2Ba

噪音= randperm (0.05 * n);true_tf = false (n, 1);true_tf(噪声)= true;u (true_tf 1) = (true_tf 1) * 5;gydF4y2Ba

火车一个隔离森林模型通过使用gydF4y2BaiforestgydF4y2Ba函数。指定的比例异常的训练观察为0.05。gydF4y2Ba

(f, tf,分数)= iforest (u, ContaminationFraction = 0.05);gydF4y2Ba

fgydF4y2Ba是一个gydF4y2BaIsolationForestgydF4y2Ba对象。gydF4y2BaiforestgydF4y2Ba还返回异常指标(gydF4y2Ba特遣部队gydF4y2Ba)和异常分数(gydF4y2Ba分数gydF4y2Ba训练数据)。gydF4y2BaiforestgydF4y2Ba确定阈值(gydF4y2Baf.ScoreThresholdgydF4y2Ba),这样的功能检测指定的分数训练观察异常。gydF4y2Ba

检查的性能gydF4y2BaIsolationForestgydF4y2Ba对象通过绘制precision-recall曲线和计算曲线下的面积(AUC)值。创建一个gydF4y2BarocmetricsgydF4y2Ba对象通过使用真正的异常指标(gydF4y2Batrue_tfgydF4y2Ba)和异常分数(gydF4y2Ba分数gydF4y2Ba)。得分值接近1显示异常,也值gydF4y2Ba真正的gydF4y2Ba在gydF4y2Batrue_tfgydF4y2Ba。因此,指定的类名gydF4y2Ba分数gydF4y2Ba作为gydF4y2Ba真正的gydF4y2Ba。指定gydF4y2BaAdditionalMetricsgydF4y2Ba名称-值参数计算精度值(或阳性预测值)。gydF4y2Ba

rocObj = rocmetrics (true_tf,分数,真的,AdditionalMetrics =gydF4y2Ba“PositivePredictiveValue”gydF4y2Ba);gydF4y2Ba

通过绘制曲线gydF4y2Ba情节gydF4y2Ba的函数gydF4y2BarocmetricsgydF4y2Ba。指定gydF4y2BaygydF4y2Ba设在度量精度(或阳性预测值)和gydF4y2BaxgydF4y2Ba设在度量回忆(或真阳性率)。显示一个实心圆模型对应于操作点gydF4y2Baf.ScoreThresholdgydF4y2Ba。计算precision-recall曲线下的面积使用的梯形法gydF4y2BatrapzgydF4y2Ba功能,并显示传说中的值。gydF4y2Ba

(rocObj YAxisMetric = r =阴谋gydF4y2Ba“PositivePredictiveValue”gydF4y2BaXAxisMetric =gydF4y2Ba“TruePositiveRate”gydF4y2Ba);持有gydF4y2Ba在gydF4y2Baidx =找到(rocObj.Metrics.Threshold > = f.ScoreThreshold 1gydF4y2Ba“最后一次”gydF4y2Ba);散射(rocObj.Metrics.TruePositiveRate (idx),gydF4y2Ba…gydF4y2BarocObj.Metrics.PositivePredictiveValue (idx),gydF4y2Ba…gydF4y2Ba[],r.ColorgydF4y2Ba“填充”gydF4y2Ba)xyData = rmmissing ([r。XData r.YData]);auc = trapz (xyData (: 1), xyData (:, 2));传奇(加入([r.DisplayNamegydF4y2Ba”(AUC = "gydF4y2Ba字符串(auc)gydF4y2Ba“)”gydF4y2Ba),gydF4y2Ba”“gydF4y2Ba),gydF4y2Ba“真正的模型操作点”gydF4y2Ba)包含(gydF4y2Ba“回忆”起gydF4y2Ba)ylabel (gydF4y2Ba“精度”gydF4y2Ba)标题(gydF4y2Ba“Precision-Recall曲线”gydF4y2Ba)举行gydF4y2Ba从gydF4y2Ba

计算置信区间为玻璃钢和TPR固定阈值通过使用引导样品,和情节TPR的置信区间由使用ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba这个数据集的数据集。34预测(gydF4y2BaXgydF4y2Ba)和351二进制响应(gydF4y2BaYgydF4y2Ba)雷达的回报,要么坏(gydF4y2Ba“b”gydF4y2Ba)或好(gydF4y2Ba‘g’gydF4y2Ba)。gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

分区数据分为训练集和测试集。使用大约80%的观察来训练支持向量机(SVM)模型,和20%的观察来测试新数据训练模型的性能。金宝app分区数据使用gydF4y2BacvpartitiongydF4y2Ba。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性分区gydF4y2Bac = cvpartition (Y,坚持= 0.20);trainingIndices =培训(c);gydF4y2Ba%训练集的指标gydF4y2BatestIndices =测试(c);gydF4y2Ba%测试集的指标gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

计算测试集的分类得分。gydF4y2Ba

[~,分数]=预测(Mdl XTest);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象通过使用真正的标签gydF4y2Ba欧美gydF4y2Ba和分类评分gydF4y2Ba分数gydF4y2Ba。指定的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl.ClassNamesgydF4y2Ba。指定gydF4y2BaNumBootstrapsgydF4y2Ba在100年使用100引导样品计算置信区间。gydF4y2Ba

Mdl.ClassNames rocObj = rocmetrics(欧美,分数,gydF4y2Ba…gydF4y2BaNumBootstraps = 100);gydF4y2Ba

寻找第二行类的表gydF4y2Ba指标gydF4y2Ba财产,前八行显示。gydF4y2Ba

idx = strcmp (rocObj.Metrics.ClassName Mdl.ClassNames (2));头(rocObj.Metrics (idx:))gydF4y2Ba

ClassName阈值FalsePositiveRate TruePositiveRate替__________________________ ________________________________ {‘g’} 7.1963 0 0 0 0 0 0 {‘g’} 7.1963 0 0 0 0 0.022222 0.093023 {‘g’} 6.2593 0 0 0 0 0.044444 0.11969 {‘g’} 5.5728 0 0 0 0.066667 0.020988 0.16024 5.5642 {‘g’} 0 0 0 0.088889 0.022635 0.18805 5.4619 - 0.04 {‘g’} 0 0.22222 0.088889 0.022635 0.18805 {‘g’} 5.3672 - 0.08 0 0.28 0.088889 0.022635 0.18805 {‘g’} 0 0.28 0.11111 0.045035 - 0.19532 5.1525 - 0.08gydF4y2Ba

表的每一行包含度量值及其置信区间为玻璃钢和TPR为一个固定的阈值。的gydF4y2Ba阈值gydF4y2Ba变量是一个列向量,gydF4y2BaFalsePositiveRategydF4y2Ba和gydF4y2BaTruePositiveRategydF4y2Ba变量是三列的矩阵。矩阵的第一列对应于度量值,和第二和第三列对应的上下边界,分别。gydF4y2Ba

绘制ROC曲线和TPR的置信区间。指定gydF4y2BaShowConfidenceIntervals = truegydF4y2Ba的置信区间,并指定一个类使用的阴谋gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

情节(rocObj ShowConfidenceIntervals = true,一会= Mdl.ClassNames (2))gydF4y2Ba

ROC曲线周围的阴影区域表示置信区间。置信区间代表由于方差曲线的不确定性测试集的训练模式。gydF4y2Ba

计算置信区间为玻璃钢和TPR固定阈值通过使用旨在数据,和情节TPR的置信区间由使用ROC曲线gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

加载gydF4y2BafisheririsgydF4y2Ba数据集。这个矩阵gydF4y2Ba量gydF4y2Ba包含150种不同的花的花测量。向量gydF4y2Ba物种gydF4y2Ba列出了每个花物种。gydF4y2Ba物种gydF4y2Ba包含三个不同的花的名字。gydF4y2Ba

负载gydF4y2BafisheririsgydF4y2Ba

火车一个朴素贝叶斯模型,观测到的三个分类标签。旨在使用10倍交叉验证模型。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性gydF4y2BaMdl = fitcnb(量、物种,Crossval =gydF4y2Ba“上”gydF4y2Ba);gydF4y2Ba

计算分类得分validation-fold观察。gydF4y2Ba

[~,分数]= kfoldPredict (Mdl);gydF4y2Ba

商店旨在分数和相应的正确的标签在细胞阵列,这样细胞数组中的每个元素对应于一个验证褶皱。gydF4y2Ba

简历= Mdl.Partition;numTestSets = cv.NumTestSets;cvLabels =细胞(numTestSets, 1);cvScores =细胞(numTestSets, 1);gydF4y2Ba为gydF4y2Bai = 1: numTestSets testIdx =测试(简历,我);cvLabels{我}=物种(testIdx);cvScores{我}=分数(testIdx:);gydF4y2Ba结束gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba使用细胞数组对象。如果您指定正确的标签和分数通过细胞阵列,gydF4y2BarocmetricsgydF4y2Ba计算置信区间。gydF4y2Ba

rocObj = rocmetrics (cvLabels cvScores Mdl.ClassNames);gydF4y2Ba

绘制ROC曲线和TPR的置信区间。指定gydF4y2BaShowConfidenceIntervals = truegydF4y2Ba的置信区间。gydF4y2Ba

情节(rocObj ShowConfidenceIntervals = true)gydF4y2Ba

每个曲线周围的阴影区域表示置信区间。置信区间的宽度gydF4y2BasetosagydF4y2Ba为非零误报率是0,所以情节没有阴影区域gydF4y2BasetosagydF4y2Ba。置信区间反映不确定性模型中由于训练集和测试集的方差。gydF4y2Ba

火车三个不同的分类模型:决策树模型,广义加性模型,和朴素贝叶斯模型。比较三个模型的性能测试数据集使用ROC曲线和AUC值。gydF4y2Ba

1994年的人口普查数据加载存储gydF4y2Bacensus1994gydF4y2Ba.matgydF4y2Ba。数据集由人口数据来自美国人口普查局预测一个人是否使每年超过50000美元。gydF4y2Ba

负载gydF4y2Bacensus1994gydF4y2Ba

census1994gydF4y2Ba包含了训练数据集gydF4y2BaadultdatagydF4y2Ba和测试数据集gydF4y2Ba成人gydF4y2Ba。显示独特的反应变量中的值gydF4y2Ba工资gydF4y2Ba。gydF4y2Ba

一会=独特(adultdata.salary)gydF4y2Ba

一会=gydF4y2Ba2 x1分类gydF4y2Ba< = 50 k > 50 kgydF4y2Ba

火车三个模型通过训练数据gydF4y2BaadultdatagydF4y2Ba并指定响应变量名gydF4y2Ba“工资”gydF4y2Ba。通过使用指定的类gydF4y2Ba一会gydF4y2Ba名称-值参数。gydF4y2Ba

MdlTree = fitctree (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);MdlGAM = fitcgam (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);MdlNB = fitcnb (adultdata,gydF4y2Ba“工资”gydF4y2Ba=类名、类名);gydF4y2Ba

计算测试数据集的分类得分gydF4y2Ba成人gydF4y2Ba使用训练模型。gydF4y2Ba

[~,ScoresTree] =预测(MdlTree,成人);[~,ScoresGAM] =预测(MdlGAM,成人);[~,ScoresNB] =预测(MdlNB,成人);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba为每个模型对象。gydF4y2Ba

rocTree = rocmetrics (adulttest.salary ScoresTree,类名);rocGAM = rocmetrics (adulttest.salary ScoresGAM,类名);rocNB = rocmetrics (adulttest.salary ScoresNB,类名);gydF4y2Ba

为每个模型绘制ROC曲线。默认情况下,gydF4y2Ba情节gydF4y2Ba显示类名和函数的AUC值传奇。包括传说中的模型名称而不是类名称,修改gydF4y2BaDisplayNamegydF4y2Ba财产的gydF4y2BaROCCurvegydF4y2Ba返回的对象gydF4y2Ba情节gydF4y2Ba函数。gydF4y2Ba

图c =细胞(3,1);g =细胞(3,1);(g c{1},{1}] =情节((1)rocTree,一会=类名);持有gydF4y2Ba在gydF4y2Bag (c{2},{2}] =情节((1)rocGAM,一会=类名);(g c{3},{3}] =情节((1)rocNB,一会=类名);modelNames = [gydF4y2Ba“决策树模型”gydF4y2Ba,gydF4y2Ba…gydF4y2Ba“广义相加模型”gydF4y2Ba,gydF4y2Ba“朴素贝叶斯模型”gydF4y2Ba];gydF4y2Ba为gydF4y2Ba我= 1:3 c{我}。DisplayName=replace(c{i}.DisplayName,…gydF4y2Ba(1)字符串(类名),modelNames (i));g{我}(1)。DisplayName =加入([modelNames(我),gydF4y2Ba“操作点”gydF4y2Ba]);gydF4y2Ba结束gydF4y2Ba持有gydF4y2Ba从gydF4y2Ba

广义可加模型(gydF4y2BaMdlGAMgydF4y2Ba)AUC值最高,决策树模型(gydF4y2BaMdlTreegydF4y2Ba)最低。这个结果表明gydF4y2BaMdlGAMgydF4y2Ba有更好的平均性能测试数据集比gydF4y2BaMdlTreegydF4y2Ba和gydF4y2BaMdlNBgydF4y2Ba。gydF4y2Ba

发现该模型操作点和最优操作点二进制分类模型。分类观察一组测试数据通过使用一个新的阈值对应于最优操作点。gydF4y2Ba

加载gydF4y2Ba电离层gydF4y2Ba这个数据集的数据集。34预测(gydF4y2BaXgydF4y2Ba)和351二进制响应(gydF4y2BaYgydF4y2Ba)雷达的回报,要么坏(gydF4y2BabgydF4y2Ba)或好(gydF4y2BaggydF4y2Ba)。gydF4y2Ba

负载gydF4y2Ba电离层gydF4y2Ba

分区数据分为训练集和测试集。使用大约75%的观察来训练支持向量机(SVM)模型,和25%的观察来测试新数据训练模型的性能。金宝app分区数据使用gydF4y2BacvpartitiongydF4y2Ba。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性分区gydF4y2Bac = cvpartition (Y,坚持= 0.25);trainingIndices =培训(c);gydF4y2Ba%训练集的指标gydF4y2BatestIndices =测试(c);gydF4y2Ba%测试集的指标gydF4y2BaXTrain = X (trainingIndices:);YTrain = Y (trainingIndices);XTest = X (testIndices:);欧美= Y (testIndices);gydF4y2Ba

训练支持向量机分类模型。gydF4y2Ba

Mdl = fitcsvm (XTrain YTrain);gydF4y2Ba

显示存储在类订单gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

Mdl.ClassNamesgydF4y2Ba

ans =gydF4y2Ba2 x1细胞gydF4y2Ba{b} {' g '}gydF4y2Ba

计算测试集的分类得分。gydF4y2Ba

(日元分数)=预测(Mdl XTest);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象通过使用真正的标签gydF4y2Ba欧美gydF4y2Ba和分类评分gydF4y2Ba分数gydF4y2Ba。指定的列顺序gydF4y2Ba分数gydF4y2Ba使用gydF4y2BaMdl.ClassNamesgydF4y2Ba。gydF4y2Ba

rocObj = rocmetrics(欧美,分数,Mdl.ClassNames);gydF4y2Ba

发现该模型操作点gydF4y2Ba指标gydF4y2Ba的属性gydF4y2BarocObjgydF4y2Ba为类gydF4y2BabgydF4y2Ba。的gydF4y2Ba预测gydF4y2Ba函数将一个观察分为类产生一个较大的分数,这对应于类与非负调整分。也就是说,使用的典型的阈值gydF4y2Ba预测gydF4y2Ba函数是0。行中gydF4y2Ba指标gydF4y2Ba的属性gydF4y2BarocObjgydF4y2Ba为类gydF4y2BabgydF4y2Ba,找到最小的负的阈值。曲线上的点表示相同性能的性能阈值0。gydF4y2Ba

idx_b = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“b”gydF4y2Ba);X = rocObj.Metrics (idx_b:) .FalsePositiveRate;:Y = rocObj.Metrics (idx_b) .TruePositiveRate;T = rocObj.Metrics (idx_b:) .Threshold;idx_model =找到(T > = 0, 1,gydF4y2Ba“最后一次”gydF4y2Ba);modelpt = [T (idx_model) X (idx_model) Y (idx_model)]gydF4y2Ba

modelpt =gydF4y2Ba1×3gydF4y2Ba1.2654 0.0179 0.5806gydF4y2Ba

二进制分类的最优操作点最小化平均误分类成本是一个点的ROC曲线相交直线的斜率gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$,在那里gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$被定义为gydF4y2Ba

$\mathit{米gydF4y2Ba}=gydF4y2Ba\frac{\mathrm{成本gydF4y2Ba}(gydF4y2Ba\mathit{PgydF4y2Ba}|gydF4y2Ba\mathit{NgydF4y2Ba})gydF4y2Ba-\; -\; -\; -\; -\; -gydF4y2Ba\mathrm{成本gydF4y2Ba}(gydF4y2Ba\mathit{NgydF4y2Ba}|gydF4y2Ba\mathit{NgydF4y2Ba})gydF4y2Ba}{\mathrm{成本gydF4y2Ba}(gydF4y2Ba\mathit{NgydF4y2Ba}|gydF4y2Ba\mathit{PgydF4y2Ba})gydF4y2Ba-\; -\; -\; -\; -\; -gydF4y2Ba\mathrm{成本gydF4y2Ba}(gydF4y2Ba\mathit{PgydF4y2Ba}|gydF4y2Ba\mathit{PgydF4y2Ba})gydF4y2Ba}\cdot gydF4y2Ba\frac{\mathit{ngydF4y2Ba}}{\mathit{pgydF4y2Ba}}$。gydF4y2Ba

$$\mathrm{pgydF4y2Ba}$$观察的总数在积极的类,然后呢gydF4y2Ba $$\mathrm{ngydF4y2Ba}$$观察的总数在负类。的gydF4y2Ba成本gydF4y2Ba值的组件成本矩阵gydF4y2Ba $$\mathrm{CgydF4y2Ba}$$:gydF4y2Ba

成本(N | P)gydF4y2Ba是分类的成本正类作为负类,然后呢gydF4y2Ba成本(P | N)gydF4y2Ba分类的成本是负类作为正类。根据课堂秩序gydF4y2BaMdl.ClassNamesgydF4y2Ba,积极类gydF4y2BaPgydF4y2Ba对应的类gydF4y2BabgydF4y2Ba。gydF4y2Ba

点之间的相交线的ROC曲线的斜率gydF4y2Ba $$\mathrm{米gydF4y2Ba}$$,选择一个最接近完美的分类器(gydF4y2Ba玻璃钢= 0gydF4y2Ba,gydF4y2BaTPR = 1gydF4y2Ba),它完美的ROC曲线通过。gydF4y2Ba

积极的找到最优操作点类gydF4y2BabgydF4y2Ba。gydF4y2Ba

p =总和(strcmp(欧美,gydF4y2Ba“b”gydF4y2Ba));n =总和(~ strcmp(欧美,gydF4y2Ba“b”gydF4y2Ba));成本= Mdl.Cost;m =(成本(2,1)成本(2,2))/(成本(1、2)成本(1,1))* n / p;[~,idx_opt] = min (X - Y / m);optpt = [T (idx_opt) X (idx_opt) Y (idx_opt)]gydF4y2Ba

optpt =gydF4y2Ba1×3gydF4y2Ba-1.1978 0.1071 0.7742gydF4y2Ba

绘制ROC曲线类gydF4y2BabgydF4y2Ba通过使用gydF4y2Ba情节gydF4y2Ba功能,并显示通过使用最优操作点gydF4y2Ba散射gydF4y2Ba函数。gydF4y2Ba

图(rocObj,一会= r =阴谋gydF4y2Ba“b”gydF4y2Ba);持有gydF4y2Ba在gydF4y2Ba散射(optpt (2), optpt (3),gydF4y2Ba“填充”gydF4y2Ba,gydF4y2Ba…gydF4y2BaDisplayName =gydF4y2Ba“b最佳操作点”gydF4y2Ba);gydF4y2Ba

显示模型操作点和最优操作点。gydF4y2Ba

array2table ([modelpt; optpt),gydF4y2Ba…gydF4y2BaRowNames = [gydF4y2Ba“模型操作点”gydF4y2Ba“最优操作点”gydF4y2Ba),gydF4y2Ba…gydF4y2BaVariableNames = [gydF4y2Ba“阈值”gydF4y2Ba“FalsePositiveRate”gydF4y2Ba“TruePositiveRate”gydF4y2Ba])gydF4y2Ba

ans =gydF4y2Ba2×3表gydF4y2Ba阈值FalsePositiveRate TruePositiveRate _____ _________________ ___________模型操作点-1.1978 0.10714 0.77419 1.2654 0.017857 0.58065最优操作点gydF4y2Ba

分类gydF4y2BaXTestgydF4y2Ba使用最优操作点。分配一个观察的调整分大于或等于最优阈值的积极类gydF4y2BabgydF4y2Ba。gydF4y2Ba

s =分数(:1)——分数(:,2);idx_b_opt = (s > = optpt (1));Y2 =细胞(大小(欧美));Y2 (idx_b_opt) = {gydF4y2Ba“b”gydF4y2Ba};Y2 (~ idx_b_opt) = {gydF4y2Ba‘g’gydF4y2Ba};gydF4y2Ba

的观测显示调整分数有不同的标签gydF4y2Ba日元gydF4y2Ba(标签gydF4y2Ba预测gydF4y2Ba功能),gydF4y2BaY2gydF4y2Ba(标签从最优阈值gydF4y2Baoptpt (1)gydF4y2Ba)。gydF4y2Ba

(~比较字符串(Y1, Y2))gydF4y2Ba

ans =gydF4y2Ba11×1gydF4y2Ba-1.1703 -0.8445 -0.8235 -0.4546 -1.0719 -0.4612 -0.2191 -1.1978 -1.0114 -1.1552⋮gydF4y2Ba

十一观察调整分数不到gydF4y2Ba0gydF4y2Ba但大于或等于最优阈值。gydF4y2Ba

训练后的模型对多类分类问题,创建一个gydF4y2BarocmetricsgydF4y2Ba感兴趣的对象类。指定gydF4y2BaFixedMetricValuesgydF4y2Ba这gydF4y2BarocmetricsgydF4y2Ba计算指定的阈值的性能指标。gydF4y2Ba

样例文件读取gydF4y2BaCreditRating_Historical.datgydF4y2Ba一个表中。预测数据由财务比率和企业客户的行业信息列表。响应变量由评级机构的信用评级分配。预览数据集的前几行。gydF4y2Ba

creditrating = readtable (gydF4y2Ba“CreditRating_Historical.dat”gydF4y2Ba);头(creditrating)gydF4y2Ba

ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA行业评级_____持续累积________ _____ ________ 62394 0.013 0.104 0.036 0.447 0.142 3 {“BB”} 48608 0.232 0.335 0.062 1.969 0.281 8 {A} 42444 0.311 0.367 0.074 1.935 0.366 1 {A} 48631 0.194 0.263 0.062 1.017 0.228 - 4 {BBB的}43768 0.121 0.413 0.057 3.647 0.466 12 {' AAA '} 39255 -0.117 -0.799 0.01 0.179 0.082 - 4 {“CCC”} 62236 0.087 0.158 0.049 0.816 0.324 - 2 {BBB的}39354 0.005 0.181 0.034 2.597 0.388 7 {“AA”}gydF4y2Ba

因为每个值gydF4y2BaIDgydF4y2Ba变量是一个独特的客户ID,即gydF4y2Ba长度(独特(creditrating.ID))gydF4y2Ba等于观测的数量gydF4y2BacreditratinggydF4y2Ba,gydF4y2BaIDgydF4y2Ba变量是一个可怜的预测。删除gydF4y2BaIDgydF4y2Ba从表中变量和转换gydF4y2Ba行业gydF4y2Ba变量,gydF4y2Ba分类gydF4y2Ba变量。gydF4y2Ba

creditrating = removevars (creditrating,gydF4y2Ba“ID”gydF4y2Ba);creditrating。行业=分类(creditrating。行业);gydF4y2Ba

分区数据分为训练集和测试集。使用大约80%的观察来训练一个神经网络模型,和20%的观察来测试新数据训练模型的性能。分区数据使用gydF4y2BacvpartitiongydF4y2Ba。gydF4y2Ba

rng (gydF4y2Ba“默认”gydF4y2Ba)gydF4y2Ba%的再现性分区gydF4y2Bac = cvpartition (creditrating.RatinggydF4y2Ba“坚持”gydF4y2Ba,0.20);trainingIndices =培训(c);gydF4y2Ba%训练集的指标gydF4y2BatestIndices =测试(c);gydF4y2Ba%测试集的指标gydF4y2BacreditTrain = creditrating (trainingIndices:);信贷= creditrating (testIndices:);gydF4y2Ba

训练一个神经网络分类器通过训练数据gydF4y2BacreditTraingydF4y2Ba到gydF4y2BafitcnetgydF4y2Ba函数。gydF4y2Ba

Mdl = fitcnet (creditTrain,gydF4y2Ba“评级”gydF4y2Ba);gydF4y2Ba

信用评级得分计算分类和预测的测试集观测。gydF4y2Ba

(标签、分数)=预测(Mdl信贷);gydF4y2Ba

神经网络分类器的分类分数对应的后验概率。gydF4y2Ba

假设你想评估模型只对评级gydF4y2BaBgydF4y2Ba,gydF4y2BaBBgydF4y2Ba,gydF4y2BaBBBgydF4y2Ba,而忽略其余的评级。gydF4y2Ba

显示的顺序存储在的评级模型gydF4y2Ba一会gydF4y2Ba财产,确定评估的类。gydF4y2Ba

Mdl.ClassNamesgydF4y2Ba

ans =gydF4y2Ba7 x1细胞gydF4y2Ba{A} {“AA”} {' AAA '} {B} {“BB”} {BBB的}{“CCC”}gydF4y2Ba

idx_Class = (4 5 6);classesToEvaluate = Mdl.ClassNames (idx_Class);gydF4y2Ba

找到三个类的观察的指标(gydF4y2BaBgydF4y2Ba,gydF4y2BaBBgydF4y2Ba,gydF4y2BaBBBgydF4y2Ba)。gydF4y2Ba

idx = ismember (creditTest.Rating classesToEvaluate);gydF4y2Ba

创建一个gydF4y2BarocmetricsgydF4y2Ba对象使用真正的标签和分数的三个类。指定gydF4y2BaFixedMetricValues = 1: -0.25: 1gydF4y2Ba这gydF4y2BarocmetricsgydF4y2Ba计算指定的阈值的性能指标。gydF4y2Ba

阈值= 1:-0.25:1;rocObj = rocmetrics (creditTest.Rating (idx),分数(idx idx_Class),gydF4y2Ba…gydF4y2BaclassesToEvaluate FixedMetricValues =阈值);gydF4y2Ba

显示存储在计算指标gydF4y2Ba指标gydF4y2Ba财产。gydF4y2Ba

rocObj.MetricsgydF4y2Ba

ans =gydF4y2Ba27×4表gydF4y2BaClassName阈值FalsePositiveRate TruePositiveRate替_________________ ___________ {B} 0.90791 0 0 0 0.10938 0.79653 {B} {B} 0.51646 0.010309 0.3125 {B} 0.26178 0.020619 0.42188 0.0050218 - 0.048969 {B} {B} 0.57812 -0.24632 0.10567 0.6875 -0.49531 - 0.1701 {B} {B} 0.76562 -0.7495 0.5232 0.85938 -0.97041 {B} 1 1 0 0 0.95629 {“BB”} {“BB”} 0.75876 0.044944 0.18378 0.50145 - 0.10112 {“BB”} {“BB”} 0.25367 0.14981 0.61081 0.44865 0.0013125 - 0.23221 {“BB”} {“BB”} -0.24929 0.34457 0.86486 0.75135 {“BB”} -0.49761 0.48315 0.93514⋮gydF4y2Ba

的gydF4y2Ba指标gydF4y2Ba属性包含三个性能指标的评级gydF4y2BaBgydF4y2Ba,gydF4y2BaBBgydF4y2Ba,gydF4y2BaBBBgydF4y2Ba和指定的阈值。默认的gydF4y2BaUseNearestNeighborgydF4y2Ba值是gydF4y2Ba真正的gydF4y2Ba如果gydF4y2BarocmetricsgydF4y2Ba不计算置信区间。因此,对于每一个指定的阈值,gydF4y2BarocmetricsgydF4y2Ba选择最近的一个调整分值指定的值,并使用最近的值作为阈值。显示指定的阈值和实际阈值用于每个类。gydF4y2Ba

idx_B = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“B”gydF4y2Ba);idx_BB = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba“BB”gydF4y2Ba);idx_BBB = strcmp (rocObj.Metrics.ClassName,gydF4y2Ba" BBB "gydF4y2Ba);表(阈值”,rocObj.Metrics.Threshold (idx_B),gydF4y2Ba…gydF4y2BarocObj.Metrics.Threshold (idx_BB),gydF4y2Ba…gydF4y2BarocObj.Metrics.Threshold (idx_BBB),gydF4y2Ba…gydF4y2BaVariableNames = [gydF4y2Ba“固定阈值”gydF4y2Ba;字符串(classesToEvaluate)])gydF4y2Ba

ans =gydF4y2Ba9×4表gydF4y2Ba固定阈值B替________ BB BBB售予1 0.90791 0.95629 0.93627 0.75 0.79653 0.75876 0.7576 0.5 0.51646 0.50145 0.50054 0.25 0.26178 0.25367 0.26181 0 0.0050218 0.0013125 0.028665 -0.25 -0.24632 -0.24929 -0.24645 -0.5 -0.49531 -0.49761 -0.49942 -0.75 -0.97041 -0.93627 -0.96758 -0.7495 -0.74873 -0.74982 1gydF4y2Ba