主要内容

validatemodel

验证信用记分卡模型的质量

描述

例子

统计数据= validatemodel (sc验证产品的质量creditscorecard模型。

默认情况下,用于构建creditscorecard使用对象。您还可以提供应用验证的输入数据。

例子

统计数据= validatemodel (sc数据验证产品的质量creditscorecard使用可选参数指定的给定数据集的模型数据

例子

统计数据T) = validatemodel (sc名称,值验证产品的质量creditscorecard使用可选的名称-值对参数建模,并返回统计数据T输出。

例子

统计数据T高频) = validatemodel (sc名称,值验证产品的质量creditscorecard使用可选的名称-值对参数建模,并返回图形句柄高频到CAP、ROC和KS图。

例子

全部折叠

创建一个creditscorecard对象使用CreditCardData.mat文件来加载数据(使用Refaat 2011的数据集)。

负载CreditCardDatasc = creditscorecard(数据,“IDVar”“CustID”
sc = creditscorecard with properties: GoodLabel: 0 ResponseVar: 'status' WeightsVar: " VarNames: {1x11 cell} NumericPredictors: {1x6 cell} CategoricalPredictors: {'ResStatus' 'EmpStatus' 'OtherCC'} BinMissingData: 0 IDVar: 'CustID' PredictorVars: {1x9 cell} Data: [1200x11 table]

使用默认选项执行自动分类。默认情况下,autobinning使用单调算法。

sc = autobinning (sc);

合适的模型。

sc = fitmodel (sc);
1.加上CustIncome, Deviance = 1490.8527, Chi2Stat = 32.588614, PValue = 1.1387992e-08添加TmWBank, Deviance = 1467.1415, Chi2Stat = 23.711203, PValue = 1.1192909e-06添加AMBalance, Deviance = 1455.5715, Chi2Stat = 11.569967, PValue = 0.00067025601增加EmpStatus, Deviance = 1447.3451, Chi2Stat = 8.2264038, PValue = 0.0041285257 5。添加CustAge, Deviance = 1441.994, Chi2Stat = 5.3511754, PValue = 0.020708306添加ResStatus, Deviance = 1437.8756, Chi2Stat = 4.118404, PValue = 0.042419078广义线性回归模型:状态~[7个预测因子中8项的线性公式]分布=二项式估计系数:Estimate SE tStat pValue ________ ________ ______ __________ (Intercept) 0.70239 0.064001 10.975 5.0538e-28 CustAge 0.60833 0.24932 2.44 0.014687 ResStatus 1.377 0.65272 2.1097 0.034888 EmpStatus 0.88565 0.293 3.0227 0.0025055 CustIncome 0.70164 0.21844 3.2121 0.0013179 TmWBank 1.1074 0.23271 4.7589 1.9464e-06 OtherCC 1.0883 0.52912 2.0569 0.039696一个米Balance 1.045 0.32214 3.2439 0.0011792 1200 observations, 1192 error degrees of freedom Dispersion: 1 Chi^2-statistic vs. constant model: 89.7, p-value = 1.4e-16

设置未缩放点的格式。

sc = formatpoints (sc,“PointsOddsAndPDO”, 500, 2, 50);

得分数据。

成绩=分数(sc);

通过生成CAP、ROC和KS图来验证信用记分卡模型。

(统计、T) = validatemodel (sc,“阴谋”,{“帽子”“中华民国”“KS”});

图中包含一个轴对象。带有CAP (Cumulative precision Profile)曲线标题的轴对象包含patch、line、text类型的6个对象。

图中包含一个轴对象。以Receiver Operating Characteristic (ROC)曲线为标题的轴对象包含patch、line、text三种类型的对象。

图中包含一个轴对象。标题为K-S Plot的轴对象包含6个类型为line, text的对象。这些对象代表累积不良品,累积商品。

disp(统计)
测量值  ________________________ _______ {' 精度比0.32258”}{ROC曲线下面积的}0.66129{“KS统计”}0.2246 499.62{“k值”}
disp(T(1:15,:))
PctObs ______ ___________ ________ _________ _________ __________ ___________ __________ __________ 369.54 0.75313 01 802 397 0 0.0012453 0.00083333 378.19 0.73016 1 1 802 396 0.0025189 0.0012453 0.0016667 380.28 0.72444 2 1 802 395 0.0050378 0.0012453 0.0025 391.490.69234 3 1 802 394 0.0075567 0.0012453 0.0033333 395.57 0.68017 4 1 802 393 0.010076 0.0012453 0.0041667 396.14 0.67846 801 393 0.010076 0.0024907 0.005 396.45 0.67752 5 801 392 0.012594 0.0024907 0.0058333 398.61 0.67094 801 391 0.015113 0.0024907 0.0066667 398.68 0.67072 801 390 0.017632 0.0024907 0.0075 401.33 0.66255 8 801 3890.020151 0.0024907 0.0083333 402.66 0.65842 83 800 389 0.020151 0.003736 0.0091667 404.25 0.65346 93 800 388 0.02267 0.003736 0.01 404.73 0.65193 94 799 388 0.02267 0.0049813 0.010833 405.53 0.64941 11 4 799 386 0.027708 0.0049813 0.0125 405.7 0.64887 11 5 798 386 0.027708 0.0062267 0.013333

使用CreditCardData.mat载入数据的文件(dataWeights),其中包含列(RowWeights)的权重(使用来自Refaat 2011的数据集)。

负载CreditCardData

创建一个creditscorecard对象的可选名称-值对参数“WeightsVar”

sc = creditscorecard (dataWeights,“IDVar”“CustID”“WeightsVar”“RowWeights”
sc = creditscorecard with properties: GoodLabel: 0 ResponseVar: 'status' WeightsVar: 'RowWeights' VarNames: {1x12 cell} NumericPredictors: {1x6 cell} CategoricalPredictors: {'ResStatus' 'EmpStatus' 'OtherCC'} BinMissingData: 0 IDVar: 'CustID' PredictorVars: {1x9 cell} Data: [1200x12 table]

执行自动装箱。

sc = autobinning (sc)
sc = creditscorecard with properties: GoodLabel: 0 ResponseVar: 'status' WeightsVar: 'RowWeights' VarNames: {1x12 cell} NumericPredictors: {1x6 cell} CategoricalPredictors: {'ResStatus' 'EmpStatus' 'OtherCC'} BinMissingData: 0 IDVar: 'CustID' PredictorVars: {1x9 cell} Data: [1200x12 table]

合适的模型。

sc = fitmodel (sc);
1.加CustIncome, Deviance = 764.3187, Chi2Stat = 15.81927, PValue = 6.968927e-05添加TmWBank, Deviance = 751.0215, Chi2Stat = 13.29726, PValue = 0.0002657942广义线性回归模型:logit(status) ~ 1 + CustIncome + TmWBank + AMBalance Distribution = Binomial Estimated Coefficients:Estimate SE tStat pValue ________ ________ ______ __________ (Intercept) 0.70642 0.088702 7.964 1.6653e-15 CustIncome 1.0268 0.25758 3.9862 6.7132e-05 TmWBank 1.0973 0.31294 3.5063 0.0004543 AMBalance 1.0039 0.37576 2.6717 0.0075464 1200个观测值,1196个误差自由度36.4, p-value = 6.22e-08

设置未缩放点的格式。

sc = formatpoints (sc,“PointsOddsAndPDO”, 500, 2, 50);

得分数据。

成绩=分数(sc);

通过生成CAP、ROC和KS图来验证信用记分卡模型。当可选的名称-值对参数“WeightsVar”用于指定观察(样本)权重,T表使用加权计数的统计信息、总和和累积总和。

(统计、T) = validatemodel (sc,“阴谋”,{“帽子”“中华民国”“KS”});

图中包含一个轴对象。带有CAP (Cumulative precision Profile)曲线标题的轴对象包含patch、line、text类型的6个对象。

图中包含一个轴对象。以Receiver Operating Characteristic (ROC)曲线为标题的轴对象包含patch、line、text三种类型的对象。

图中包含一个轴对象。标题为K-S Plot的轴对象包含6个类型为line, text的对象。这些对象代表累积不良品,累积商品。

统计数据
统计数据=4×2表测量值  ________________________ _______ {' 精度比0.28972”}{ROC曲线下面积的}0.64486{“KS统计”}0.23215 505.41{“k值”}
T (1:10,:)
ans =10×9表PctObs ______ ___________ ________ _________ _________ __________ ___________ __________ _________ 401.34 0.66253 1.0788 0 411.95 201.95 0.0053135 0 0.0017542 407.59 0.64289 4.8363 1.2768 410.67 198.19 0.023821 0.0030995 0.0099405 413.79 0.62292 6.9469 4.6942 407.25196.08 0.034216 0.011395 0.018929 420.04 0.60236 18.459 9.3899 402.56 184.57 0.090918 0.022794 0.045285 437.27 0.544 18.459 10.514 401.43 184.57 0.090918 0.025523 0.047113 442.83 0.52481 18.973178.71 0.11981 0.034968 0.062978 449.73 0.50095 28.246 18.049 393.9 174.78 0.13912 0.043813 0.075279 452.44 0.49153 31.511 23.565 388.38

这个例子描述了丢失数据的赋值“BinMissingData”选项设置为真正的,并计算相应的模型验证统计量。

  • 训练集中缺少数据的预测值有一个明确的bin在最后的记分卡上有相应的分数。这些点数是根据证据权重(WOE)值计算的Bin和logistic模型系数。为了记分,这些分数被分配给缺失的值和超出范围的值,最后的分数被用来计算模型验证统计validatemodel

  • 训练集中没有缺失数据的预测器没有缺失数据bin,因此不能从训练数据中估计出WOE。默认情况下,缺失值和超出范围值的点被设置为,这就导致了一系列的运行时分数.对于没有明确的预测器Bin,使用name-value参数“失踪”formatpoints以指示如何处理缺失的数据进行评分。最后的分数用于计算模型验证统计validatemodel

创建一个creditscorecard对象使用CreditCardData.mat文件来加载dataMissing用缺失值。

负载CreditCardData.mat头(dataMissing, 5)
ans =5×11表CustID CustAge TmAtAddress ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance UtilRate地位  ______ _______ ___________ ___________ _________ __________ _______ _______ _________ ________ ______ 53 62 <定义>未知50000 55是的1055.9 - 0.22 0 2 61 22业主雇佣52000 25是的1161.6 - 0.24 0 3 47 30租户雇佣了37000 61877.23 0.29 0 4 NaN 75自雇业主53000 20是157.37 0.08 0 5 68 56自雇业主53000 14是561.84 0.11 0

使用creditscorecard使用name-value参数“BinMissingData”设置为真正的将丢失的数字或类别数据装入单独的容器中。应用自动装箱。

sc = creditscorecard (dataMissing,“IDVar”“CustID”“BinMissingData”,真正的);sc = autobinning (sc);disp (sc)
creditscorecard with properties: GoodLabel: 0 ResponseVar: 'status' WeightsVar: " VarNames: {1x11 cell} NumericPredictors: {1x6 cell} CategoricalPredictors: {'ResStatus' 'EmpStatus' 'OtherCC'} BinMissingData: 1 IDVar: 'CustID' PredictorVars: {1x9 cell} Data: [1200x11 table]

设置最小值为零保管CustIncome.这样,任何负年龄或收入信息都将失效或“超出范围”。对于评分和默认计算的概率,超出范围的值与缺失值给出相同的分数。

sc = modifybins (sc,“CustAge”“MinValue”, 0);sc = modifybins (sc,“CustIncome”“MinValue”, 0);

显示bin信息的数字数据“CustAge”这包括在一个单独的标签箱中丢失的数据

bi = bininfo (sc,“CustAge”);disp (bi)
(UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU46)“172891.9326-0.04556 0.0004549{'[46,48'}59 25 2.36 0.15424 0.0016199{'[48,51'}99 41 2.4146 0.17713 0.0035449{”[51,58)}15762.53230.224690.0088407{'[58,Inf]}93253.720.609310.032198{'}1911.7273-0.15787 0.00063885{'Totals'}8033972.0227 NaN 0.087112

显示的分类数据的bin信息“ResStatus”这包括在一个单独的标签箱中丢失的数据

bi = bininfo (sc,“ResStatus”);disp (bi)
Bin Good Bad Odds WOE InfoValue ______________ _____________ _________ __________ {'Tenant'} 296 161 1.8385 -0.095463 0.0035249 {'Home Owner'} 352 171 2.0585 0.017549 0.00013382 {'Other'} 128 52 2.4615 0.19637 0.0055808 {''} 27 13 2.0769 0.026469 2.3248e-05 {' total '} 803 397 2.0227 NaN 0.0092627

“CustAge”“ResStatus”预测者,有缺失的数据(年代和<定义>),分箱过程估计出的WOE值为-0.157870.026469分别为这些预测器中的缺失数据,如上所示。

EmpStatusCustIncome因为训练数据中没有这些预测器的缺失值,所以没有明确的缺失值存放。

bi = bininfo (sc,“EmpStatus”);disp (bi)
本好不好悲哀InfoValue几率  ____________ ____ ___ ______ ________ _________ {' 未知的}396 239 1.6569 -0.19947 0.021715{“雇佣”}407 158 2.5759 0.2418 0.026323{“总数”}803 397 0.048038 2.0227南
bi = bininfo (sc,“CustIncome”);disp (bi)
本好不好悲哀InfoValue几率  _________________ ____ ___ _______ _________ __________ {'[ 0, 29000)} 53 58 0.91379 -0.79457 0.06364{[29000、33000)}74年49 1.5102 -0.29217 0.0091366{[33000、35000)的36}68 1.8889 -0.06843 0.00041042{[35000、40000)的}193 98 1.9694 -0.026696 0.00017359{[40000、42000)}68 2 -0.011271 - 1.0819 e-05 34{'[42000,47000)'} 164 66 2.4848 0.20579 0.0078175 {'[47000,Inf]'} 183 56 3.2679 0.47972 0.041657 {' total '} 803 397 2.0227 NaN 0.12285

使用fitmodel利用证据权重(WOE)数据拟合逻辑回归模型。fitmodel使用自动装箱过程中找到的箱子,在内部将所有预测变量转换为WOE值。fitmodel然后使用逐步方法(默认)拟合逻辑回归模型。对于缺少数据的预测器,有一个明确的bin,并根据数据计算出相应的WOE值。当使用fitmodel,则在进行WOE转换时,应用 bin对应的WOE值。

(sc, mdl) = fitmodel (sc);
1.加上CustIncome, Deviance = 1490.8527, Chi2Stat = 32.588614, PValue = 1.1387992e-08添加TmWBank, Deviance = 1467.1415, Chi2Stat = 23.711203, PValue = 1.1192909e-06添加AMBalance, Deviance = 1455.5715, Chi2Stat = 11.569967, PValue = 0.00067025601增加EmpStatus, Deviance = 1447.3451, Chi2Stat = 8.2264038, PValue = 0.0041285257 5。加CustAge, Deviance = 1442.8477, Chi2Stat = 4.4974731, PValue = 0.033944979添加ResStatus, Deviance = 1438.9783, Chi2Stat = 3.86941, PValue = 0.049173805广义线性回归模型:status ~[7个预测因子中8项的线性公式]Distribution = Binomial Estimated Coefficients:Estimate SE tStat pValue ________ ________ ______ __________ (Intercept) 0.70229 0.063959 10.98 4.7498e-28 CustAge 0.57421 0.25708 2.2335 0.025513 ResStatus 1.3629 0.66952 2.0356 0.04179 EmpStatus 0.88373 0.2929 3.0172 0.002551 CustIncome 0.73535 0.2159 3.406 0.00065929 TmWBank 1.1065 0.23267 4.7556 1.9783e-06 OtherCC 1.0648 0.52826 2.0156 0.043841一个米Balance 1.0446 0.32197 3.2443 0.0011775 1200 observations, 1192 error degrees of freedom Dispersion: 1 Chi^2-statistic vs. constant model: 88.5, p-value = 2.55e-16

通过“点数、几率和几率加倍(PDO)”方法来衡量记分卡点数“PointsOddsAndPDO”的观点formatpoints.假设你想要获得500分的概率是2(好的概率是坏的概率的两倍),概率每50分翻一倍(所以550分的概率是4)。

显示显示在拟合模型中保留的预测器按比例缩放的点数的记分卡。

sc = formatpoints (sc,“PointsOddsAndPDO”, (500 2));PointsInfo = displaypoints (sc)
PointsInfo =38×3表预测本点  _____________ ______________ ______ {' CustAge’}{[0,33)的54.062}{‘CustAge}{[33岁,37)的56.282}{‘CustAge}{[37、40)的60.012}{‘CustAge}{[40岁,46)的69.636}{‘CustAge}{[46岁,48)的77.912}{‘CustAge}{[48, 51)的78.86}{‘CustAge}{[51岁,58)的80.83}{‘CustAge}{[58岁的Inf]的}96.76{‘CustAge}{< >失踪的}64.984 {'EmpStatus'} {'EmpStatus'} {'Home Owner'} 73.248 {'ResStatus'} {'Other'} 90.828 {'ResStatus'} {''} 74.125 {'EmpStatus'} {'Unknown'} 58.807 {'EmpStatus'} {'Employed'} 86.937 {'EmpStatus'} {''}⋮

注意这个点本为保管ResStatus显式显示(如64.983674.1250分别)。这些点是根据该地区的WOE值计算出来的和logistic模型系数。

对于训练集中没有缺失数据的预测器,没有显式的箱子默认情况下,这些点被设置为因为缺少数据,他们会导致运行时分数.对于没有明确的预测器Bin,使用name-value参数“失踪”formatpoints以指示如何处理缺失的数据进行评分。

出于演示的目的,从原始数据中提取几行作为测试数据,并引入一些缺失的数据。还引入一些无效或超出范围的值。对于数字数据,低于允许的最小值(或高于允许的最大值)的值被认为是无效的,例如年龄的负值(回忆一下)“MinValue”之前已为设置为0保管CustIncome).对于分类数据,无效值是没有显式地包含在记分卡中的类别,例如,以前没有映射到记分卡类别的居住状态,如“House”,或没有意义的字符串,如“abc123”。

这是一个非常小的验证数据集,仅用于说明缺少和超出范围值的行的评分,以及它与模型验证的关系。

tdata = dataMissing (11:18 mdl.PredictorNames);%仅在模型中保留预测值tdata。状态= dataMissing.status (11:18);%复制验证所需的响应变量值%设置一些缺失的值tdata.CustAge(1) =南;tdata.ResStatus (2) =' <定义> ';tdata.EmpStatus (3) =' <定义> ';tdata.CustIncome(4) =南;%设置一些无效的值tdata.CustAge (5) = -100;tdata.ResStatus (6) =“房子”;tdata.EmpStatus (7) =“自由职业者”;tdata.CustIncome (8) = 1;disp (tdata)
(UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两两业主<未定义>48000 6号111.88 0 44其他未知NaN 35号436.41 0-100其他雇佣46000 16是162.21 0 33房屋就业36000 36是845.02 0 39租户自由职业者34000 40是756.26 1 24房屋业主就业-1 19是449.61 0

对新数据进行评分,并查看如何为缺失打分保管ResStatus,因为我们有一个带有点的显式bin.然而,对于EmpStatusCustIncome分数函数将点设置为

验证结果是不可靠的,分数保留值(请参阅验证表)ValTable,但不清楚这些影响是什么的值(威士达).这是一个很小的验证数据集,但是在更大的数据集上,分数仍然可以影响验证结果。

(分数,分)=分数(sc tdata);disp(分数)
481.2231 520.8353 NaN NaN 551.7922 487.9588 NaN NaN
disp(分)
CustAge ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance _______ _________ _________ __________ _______ _______ _________ 64.984 62.138 58.807 67.893 61.858 75.622 89.922 78.86 74.125 58.807 82.439 61.061 75.622 89.922 96.76 73.248 NaN 96.969 51.132 50.914 89.922 69.636 90.828 58.807 61.858 50.914 89.922 64.984 90.828 86.937 82.43961.061 75.622 89.922 56.282 74.125 86.937 70.107 61.858 75.622 63.028 60.012 62.138 NaN 67.893 61.858 75.622 63.028 54.062 73.248 86.937
[ValStats, ValTable] = validatemodel (sc tdata);disp (ValStats)
测量值  ________________________ _______ {' 精度比0.16667”}{ROC曲线下面积的}0.58333{“KS统计”}0.5 481.22{“k值”}
disp (ValTable)
分数ProbDefault TrueBads FalseBads TrueGoods FalseGoods敏感性FalseAlarm PctObs  ______ ___________ ________ _________ _________ __________ ___________ __________ ______ 南南5 0 1 2 0 0 0.16667 0.125南南2 4 2 0 0.33333 0.25南南1 2 4 1 0.5 0.33333 0.375南南1 3 3 1 0.5 0.5 0.5 481.22 0.39345 - 2 3 3 0 1 0.5 0.625 487.960.3714 2 4 20 1 0.66667 0.75 520.84 0.2725 25 1 0 1 0.83333 0.875 551.79 0.19605 2 60 0 1 1 1 1

使用name-value参数“失踪”formatpoints选择如何为没有显式指示的预测器的缺失值分配点箱子在本例中,使用“MinPoints”选择“失踪”论点。最低分数EmpStatus在上面显示的记分卡中58.8072CustIncome最低分数为29.3753

验证结果不再受值,因为现在所有行都有一个分数。

sc = formatpoints (sc,“失踪”“MinPoints”);(分数,分)=分数(sc tdata);disp(分数)
481.2231 520.8353 517.7532 451.3405 551.7922 487.9588 449.3577 470.2267
disp(分)
CustAge ResStatus EmpStatus CustIncome TmWBank OtherCC AMBalance _______ _________ _________ __________ _______ _______ _________ 64.984 62.138 58.807 67.893 61.858 75.622 89.922 78.86 74.125 58.807 82.439 61.061 75.622 89.922 96.76 73.248 58.807 96.969 51.132 50.914 89.922 69.636 90.828 58.807 29.375 61.858 50.914 89.922 64.984 90.828 86.93782.439 61.061 75.622 89.922 56.282 74.125 86.937 70.107 61.858 75.622 63.028 60.012 62.138 58.807 67.893 61.858 75.622 63.028 54.062 73.248 86.937 29.375 61.061 75.622 89.922
[ValStats, ValTable] = validatemodel (sc tdata);disp (ValStats)
测量值  ________________________ _______ {' 精度比0.66667”}{ROC曲线下面积的}0.83333{“KS统计”}0.66667 481.22{“k值”}
disp (ValTable)
分数ProbDefault TrueBads FalseBads TrueGoods FalseGoods敏感性FalseAlarm PctObs  ______ ___________ ________ _________ _________ __________ ___________ __________ ______ 449.36 - 0.50223 0 1 0 6 1 0.5 0.125 451.34 0.49535 1 1 5 1 0.5 0.16667 0.25 470.23 0.43036 1 2 4 1 0.5 0.33333 0.375 481.22 0.39345 - 2 2 4 0 1 0.33333 0.5 487.96 0.3714 2 3 30 1 0.5 0.625 517.75 0.28105 2 4 2 0 1 0.66667 0.75 520.84 0.2725 2 5 1 0 1 0.83333 0.875 551.79 0.19605 2 6 0 0 1 1 1

输入参数

全部折叠

信用记分卡模型,指定为creditscorecard对象要创建此对象,请使用creditscorecard

(可选)验证数据,指定为MATLAB®表,其中每个表行对应于单个观察。的数据必须包含信用记分卡模型中每个预测器的列。数据列可以是以下任意一种数据类型:

  • 数字

  • 逻辑

  • 字符向量的单元格数组

  • 字符数组

  • 分类

  • 字符串

  • 字符串数组

此外,该表必须包含一个二进制响应变量。

请注意

当观测权值使用可选定义时WeightsVar名称-值对参数creditscorecard对象中存储的权重WeightsVar列在对训练数据验证模型时使用。如果使用可选参数提供了不同的验证数据集数据验证数据的输入、观察权值必须包含在名称匹配的列中WeightsVar,否则验证数据使用单位权重。有关更多信息,请参见使用带有权重的validatmodel

数据类型:表格

名称-值参数

指定可选的逗号分隔的对名称,值参数。的名字参数名和价值为对应值。的名字必须出现在引号内。可以以任意顺序指定多个名称和值对参数名称1,值1,…,名称,值

例子:sc = validatemodel (sc、数据“AnalysisLevel”,“十分位数”,“情节”,“帽子”)

分析级别的类型,指定为由逗号分隔的对组成“分析级别”和具有下列值之一的字符向量:

  • “分数”-返回统计信息(统计数据)在观察水平。分数从最危险到最安全进行排序,重复的部分被删除。

  • “十分位数”-返回统计信息(统计数据)在十分位水平。分数从最危险的到最安全的,并与相应的统计数据分成10个十分位数(10%,20%,…, 100%)。

数据类型:字符

图的类型,指定为逗号分隔对,由“阴谋”和具有下列值之一的字符向量:

  • “没有”—未显示任何图形。

  • “帽子”-累积精度简介。绘制出得分在s以上的借款人比例与得分在s以上的违约者比例(“PctObs”“敏感”T可选的输出参数)。有关详细信息,请参见累积精度剖面(CAP)

  • “中华民国”-接收机工作特性。绘制得分为“s”的未违约者的比例与得分为“s”的违约者的比例(“FalseAlarm”“敏感”T可选的输出参数)。有关详细信息,请参见接收机工作特性(ROC)

  • “KS”——Kolmogorov-Smirnov。将每个分数“s”与得分为“s”的违约者的比例,以及得分为“s”的非违约者的比例(“分数”和两个“敏感”“FalseAlarm”可选输出参数的列T)。有关详细信息,请参阅Kolmogorov-Smirnov统计(KS)

    提示

    对于Kolmogorov-Smirnov统计选项,可以输入“KS”“钴”

数据类型:字符|细胞

输出参数

全部折叠

验证度量,返回为4——- - - - - -2表格第一列,“措施”,包含以下措施的名称:

  • 精度比(AR)

  • ROC曲线下面积(AUROC)

  • KS统计

  • KS得分

第二列,“价值”,包含与这些度量值相对应的值。

验证统计数据,返回为N——- - - - - -9验证统计数据表,按分数排序,从最危险到最安全。当AnalysisLevel设置为“十分位数”N等于10.否则,N等于唯一分数的总数,即没有重复的分数。

T按此顺序包含以下九列:

  • “分数”-从最危险到最安全的分数排序。这一行中的数据对应于截至(包括)这一行中的分数的所有观察结果。

  • “ProbDefault”-这一行观测值的违约概率。对于十分位,报告给定十分位中所有观测值的平均违约概率。

  • “TrueBads”-累计的“坏”数达到并包括相应的分数。

  • “谎言”-“货物”累计数量达到并包括相应分数。

  • “真实商品”-超过相应分数的“货物”累计数量。

  • “FalseGoods”-超过相应分数的“坏”的累计次数。

  • “敏感”-违约者的比例(或“坏”的累计数量除以“坏”的总数量)。这是“坏”的分布,包括相应的分数。

  • “FalseAlarm”-非违约者的比例(或“货物”的累计数量除以“货物”的总数量)。这是“商品”的分配,包括相应的分数。

  • “PctObs”-借贷者的比例,或累计观察数除以观察总数,直到并包括相应的分数。

请注意

在创建creditscorecard对象与creditscorecard,如果可选的名称-值对参数WeightsVar用于指定观察(样本)权重,然后T表使用加权计数的统计信息、总和和累积总和。

用于绘制度量的图形句柄,作为图形句柄或句柄数组返回。当情节设置为“没有”高频为空数组。

更多关于

全部折叠

累积精度剖面(CAP)

CAP通常是一条凹曲线,也称为基尼曲线、功率曲线或洛伦兹曲线。

给定的观察结果的分数按照风险从最高到最安全的顺序排列。对于一个给定的分数(0%至100%)的借款人,CAP曲线的高度是分数小于或等于分数最大值的违约者的分数,也被称为“敏感”。

然后,将CAP曲线下的面积(称为AUCAP)与完美或“理想”模型下的面积进行比较,从而定义一个概括指数,称为准确率(基于“增大化现实”技术)或基尼系数:

一个 R 一个 R 一个 P

在哪里一个RCAP曲线和对角线之间的面积是多少一个P是完美模型和对角线之间的面积。这代表了一个“随机”模型,分数是随机分配的,因此违约者和非违约者的比例是独立于分数的。完美的模型是给所有违约者分配最低分数的模型,因此,完美地区分违约者和非违约者。这样,就越接近统一基于“增大化现实”技术是,评分模型越好。

接收机工作特性(ROC)

为了找到接受者工作特征(ROC)曲线,需要计算在给定分数或敏感度范围内的违约者的比例。

这一比例被称为真实阳性率(TPR)。此外,还计算得分为“s”或“假警报率”的非违约者的比例。这个比例也被称为假阳性率(FPR)。ROC曲线是“敏感性”与“误报率”的曲线。计算ROC曲线类似于计算每个得分水平的混淆矩阵。

与CAP类似,ROC有一个汇总统计数据,称为ROC曲线下面积(AUROC)。越接近统一,得分模型就越好。准确度比(基于“增大化现实”技术)与曲线下面积的关系式如下:

一个 R 2 一个 U R O C 1

Kolmogorov-Smirnov统计(KS)

Kolmogorov-Smirnov (KS)图,也被称为鱼眼图,是一种常用的统计数据,用于衡量记分卡的预测能力。

KS图显示了同一个图上默认者和非默认者的分布。对于违约者的分布,每个分数“s”与违约者达到“s”或“敏感度”的比例相对应。对于非违约者的分布,每个分数“s”与违约者达到“s”或“假警报”的比例相对应感兴趣的统计称为KS统计,是这两个分布之间的最大差值(“敏感性”减去“假警报”)。达到该最大值的分数也是感兴趣的。

使用validatemodel与重量

当用户提供观测权值时,模型验证统计包含观测权值。

在没有权重的情况下,验证统计数据是基于有多少好的和坏的观察结果低于一个特定的分数。另一方面,当提供观察权重时,对于低于特定分数的好的和坏的观察,权重(而不是计数)是累积的。

当观测权值使用可选定义时WeightsVar名称-值对参数creditscorecard对象中存储的权重WeightsVar列在对训练数据验证模型时使用。当使用可选参数提供不同的验证数据集时数据验证数据的输入、观察权值必须包含在名称匹配的列中WeightsVar,否则验证数据集使用单位权重。

不仅验证统计量,而且信用记分卡本身的分数也依赖于训练数据的观测权值。有关更多信息,请参见使用带权重的fitmodel基于观察权重的信用记分卡建模

工具书类

[1]巴塞尔银行监管委员会:内部评级系统验证研究工作文件第14号,2005年2月。

[2] Refaat, M。信用风险记分卡:使用SAS开发和实施。lulu.com, 2011。

Loeffler, G.和Posch, P. N。基于Excel和VBA的信用风险建模。威利金融,2007。

介绍了R2015a