compareHoldout年代p一个n>
比较两种分类模型使用新数据的精度
语法
描述
compareHoldout
统计评估两种分类模型的精度。这个函数首先对比他们的预测对真正的标签,标签,然后检测误分类率之间的差异是否显著。
你可以确定分类模型的精度不同,还是一个模型比另一个表现更好。compareHoldout
可以进行一些<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验法检验一个>变化,包括渐近测试,exact-conditional测试和中期
返回的测试决定测试零假设训练分类模型h
= compareHoldout (<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255518" class="intrnllnk">T1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255570" class="intrnllnk">T2
,<一个href="//www.tatmou.com/uk/help/stats/#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">ResponseVarName
)C1
和C2
有同等精度预测真正的类标签的ResponseVarName
变量。另一种假说是,标签有不平等的准确性。
第一个分类模型C1
使用预测数据T1
,第二个分类模型C2
使用预测数据T2
。的表T1
和T2
必须包含相同的响应变量,但可以包含不同的预测。默认情况下,软件进行中期
h
=1
表示拒绝零假设在5%的显著性水平。h
=0
表明不拒绝零假设5%的水平。
下面是测试的例子,你可以进行:
比较简单的分类模型的精度和一个更复杂的模型,通过相同的一组预测数据(即,
T1
=T2
)。比较两个潜在的不同的模型的精度可能使用两个不同的预测。
执行各种类型的<一个href="//www.tatmou.com/uk/uk/help/stats/feature-selection.html" class="a">特征选择一个>。例如,您可以比较模型的准确性训练使用一组预测的准确性一训练子集或不同的预测。你可以选择预测任意的集合,或者使用特征选择方法,如主成分分析或连续的特征选择(见<一个href="//www.tatmou.com/uk/uk/help/stats/pca.html">
主成分分析
和<一个href="//www.tatmou.com/uk/uk/help/stats/sequentialfs.html">sequentialfs
)。
返回的测试决定测试零假设训练分类模型h
= compareHoldout (<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255518" class="intrnllnk">T1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255570" class="intrnllnk">T2
,<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)C1
和C2
有同等精度预测真正的类标签吗Y
。另一种假说是,标签有不平等的准确性。
第一个分类模型C1
使用预测数据T1
,第二个分类模型C2
使用预测数据T2
。默认情况下,软件进行中期
返回的测试决定测试零假设训练分类模型h
= compareHoldout (<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">X1
,<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2
,<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)C1
和C2
有同等精度预测真正的类标签吗Y
。另一种假说是,标签有不平等的准确性。
第一个分类模型C1
使用预测数据X1
,第二个分类模型C2
使用预测数据X2
。默认情况下,软件进行中期
指定选项使用一个或多个名称-值对参数除了在以前的语法输入参数组合。例如,您可以指定类型的备择假设,指定测试的类型,并提供一个成本矩阵。h
= compareHoldout (<年代p一个nclass="argument_placeholder">___年代p一个n>,<一个href="//www.tatmou.com/uk/help/stats/#namevaluepairarguments" class="intrnllnk">名称,值
)
(<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-h" class="intrnllnk">
返回h
,<一个href="//www.tatmou.com/uk/help/stats/#d124e256422" class="intrnllnk">p
,<一个href="//www.tatmou.com/uk/help/stats/#d124e256460" class="intrnllnk">e1
,<一个href="//www.tatmou.com/uk/help/stats/#d124e256515" class="intrnllnk">e2
)= compareHoldout (<年代p一个nclass="argument_placeholder">___年代p一个n>)p
)和各自的<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失一个>每组的预测类标签(e1
和e2
)使用任何输入参数在前面的语法。
例子
比较全面和减少分类模型的精度
火车两<年代p一个nclass="emphasis">k最近的邻居分类器,利用预测的一个子集用于其他。进行统计检验比较两个模型的精度测试集。
加载carsmall
数据集。
负载<年代p一个n年代tyle="color:#A020F0">carsmall年代p一个n>
创建两个表的输入数据,第二个表不包括预测加速度
。指定Model_Year
作为反应变量。
T1 =表(加速度、位移、马力、MPG, Model_Year);T2 = T1(:, 2:结束);
创建一个分区,将数据分为训练集和测试集。保持30%的数据进行测试。
rng (1)<年代p一个n年代tyle="color:#228B22">%的再现性年代p一个n>本量利= cvpartition (Model_Year,<年代p一个n年代tyle="color:#A020F0">“坚持”年代p一个n>,0.3);idxTrain =培训(CVP);<年代p一个n年代tyle="color:#228B22">%训练集指数年代p一个n>idxTest =测试(CVP);<年代p一个n年代tyle="color:#228B22">%测试集指数年代p一个n>
本量利
是一个交叉验证分区对象,它指定了训练集和测试集。
培训ClassificationKNN
模型使用T1
和T2
数据。
C1 = fitcknn (T1 (idxTrain:),<年代p一个n年代tyle="color:#A020F0">“Model_Year”年代p一个n>);C2 = fitcknn (T2 (idxTrain:),<年代p一个n年代tyle="color:#A020F0">“Model_Year”年代p一个n>);
C1
和C2
被训练ClassificationKNN
模型。
测试两个模型是否有平等的测试集上的预测精度。
h = compareHoldout (C1, C2, T1 (idxTest:), T2 (idxTest:)<年代p一个n年代tyle="color:#A020F0">“Model_Year”年代p一个n>)
h =<年代p一个nclass="emphasis">逻辑0
h = 0
表明不拒绝零假设,这两个模型的预测精度。
比较两种不同的分类模型的精度
火车两种分类模式使用不同的算法。的误分类率进行统计检验比较两个模型在测试集上。
加载电离层
数据集。
负载<年代p一个n年代tyle="color:#A020F0">电离层年代p一个n>
创建一个分区,均匀地将数据分为训练集和测试集。
rng (1)<年代p一个n年代tyle="color:#228B22">%的再现性年代p一个n>本量利= cvpartition (Y,<年代p一个n年代tyle="color:#A020F0">“坚持”年代p一个n>,0.5);idxTrain =培训(CVP);<年代p一个n年代tyle="color:#228B22">%训练集指数年代p一个n>idxTest =测试(CVP);<年代p一个n年代tyle="color:#228B22">%测试集指数年代p一个n>
本量利
是一个交叉验证分区对象,它指定了训练集和测试集。
训练支持向量机模型和一个100袋装分类树。对于支持向量机模型,指定使用径向基函数内核和启发式程序来确定内核规模。
C1 = fitcsvm (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“标准化”年代p一个n>,真的,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“KernelFunction”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“RBF”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“KernelScale”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“汽车”年代p一个n>);t = templateTree (<年代p一个n年代tyle="color:#A020F0">“复制”年代p一个n>,真正的);<年代p一个n年代tyle="color:#228B22">%的再现性随机预测的选择年代p一个n>C2 = fitcensemble (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“方法”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“包”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“学习者”年代p一个n>t);
C1
是一个培训ClassificationSVM
模型。C2
是一个培训ClassificationBaggedEnsemble
模型。
测试是否两个模型的预测精度。使用相同的测试集预测数据为每个模型。
h = compareHoldout (C1, C2, X (idxTest:) X (idxTest:), Y (idxTest))
h =<年代p一个nclass="emphasis">逻辑0
h = 0
表明不拒绝零假设,这两个模型的预测精度。
比较分类模型更复杂的模型
火车两种分类模式使用相同的算法,但是调整hyperparameter使算法更加复杂。进行统计检验来评估是否简单模型具有更好的精度测试数据比更复杂的模型。
加载电离层
数据集。
负载<年代p一个n年代tyle="color:#A020F0">电离层年代p一个n>;
创建一个分区,均匀地将数据分为训练集和测试集。
rng (1);<年代p一个n年代tyle="color:#228B22">%的再现性年代p一个n>本量利= cvpartition (Y,<年代p一个n年代tyle="color:#A020F0">“坚持”年代p一个n>,0.5);idxTrain =培训(CVP);<年代p一个n年代tyle="color:#228B22">%训练集指数年代p一个n>idxTest =测试(CVP);<年代p一个n年代tyle="color:#228B22">%测试集指数年代p一个n>
本量利
是一个交叉验证分区对象,它指定了训练集和测试集。
火车两种SVM模型:一个使用一个线性内核二进制分类(默认),另一个使用径向基函数内核。使用默认的内核规模为1。
C1 = fitcsvm (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“标准化”年代p一个n>,真正的);C2 = fitcsvm (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“标准化”年代p一个n>,真的,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“KernelFunction”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“RBF”年代p一个n>);
C1
和C2
被训练ClassificationSVM
模型。
测试简单的零假设模型(C1
)是最准确的更复杂的模型(C2
)。因为测试集的规模很大,渐近McNemar检验法进行测试和比较结果中期<年代p一个nclass="emphasis">p值测试(cost-insensitive测试默认)。请求返回<年代p一个nclass="emphasis">p值和错误分类率。
Asymp = 0 (4,1);<年代p一个n年代tyle="color:#228B22">%预先配置年代p一个n>MidP = 0 (4,1);[Asymp (1) Asymp (2), Asymp (3), Asymp (4)] = compareHoldout (C1, C2,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>X (idxTest:) X (idxTest:), Y (idxTest),<年代p一个n年代tyle="color:#A020F0">“替代”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“更大的”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“测试”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">渐近的年代p一个n>);(MidP MidP (1), (2), MidP (3), MidP (4)] = compareHoldout (C1, C2,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>X (idxTest:) X (idxTest:), Y (idxTest),<年代p一个n年代tyle="color:#A020F0">“替代”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“更大的”年代p一个n>);表(MidP Asymp,<年代p一个n年代tyle="color:#A020F0">“RowNames”年代p一个n>,{<年代p一个n年代tyle="color:#A020F0">“h”年代p一个n>“p”年代p一个n>“e1”年代p一个n>“e2”年代p一个n>})
ans =<年代p一个nclass="emphasis">4×2表Asymp MidP __________ __________ h 1 1 p 7.2801 e-09 2.7649平台以及e1 0.13714 - 0.13714 e2 0.33143 - 0.33143
的<年代p一个nclass="emphasis">p对测试值接近于零,提供强有力的证据拒绝零假设,更简单的模型比更复杂的模型不准确。无论什么测试您指定,compareHoldout
返回的相同类型的错误分类测量模型。
两种分类模型的厂商进行比较
对不平衡数据集类表示,或者与假阳性和假阴性的成本不平衡数据集,您可以统计比较两种分类模型的预测性能包括成本矩阵分析。
加载心律失常
数据集,确定数据的类表示。
负载<年代p一个n年代tyle="color:#A020F0">心律失常年代p一个n>;Y =分类(Y);汇总(Y);
值计算百分比1 245 2 54.20% 44 9.73% 3 15 3.32% 4 15 3.32% 5 13 2.88% 6 25 5.53% 7 3 9 9 8 2 0.44% 0.66% 1.99% 10 50 11.06% 14 4 0.88% 15 5 1.11% 16 4.87%
有16个班,然而一些并不代表数据集(例如,类13)。大多数观察被归类为没有心律失常(1级)。不平衡的数据集是高度离散类。
把所有的观察与心律失常(类2到15)成一个类。删除这些观察与未知的心律失常状态(类16)的数据集。
idx = (Y ~ =<年代p一个n年代tyle="color:#A020F0">“16”年代p一个n>);Y = Y (idx);X = X (idx:);Y (Y ~ =<年代p一个n年代tyle="color:#A020F0">' 1 '年代p一个n>)=<年代p一个n年代tyle="color:#A020F0">“WithArrhythmia”年代p一个n>;Y (Y = =<年代p一个n年代tyle="color:#A020F0">' 1 '年代p一个n>)=<年代p一个n年代tyle="color:#A020F0">“NoArrhythmia”年代p一个n>;Y = removecats (Y);
创建一个分区,均匀地将数据分为训练集和测试集。
rng (1);<年代p一个n年代tyle="color:#228B22">%的再现性年代p一个n>本量利= cvpartition (Y,<年代p一个n年代tyle="color:#A020F0">“坚持”年代p一个n>,0.5);idxTrain =培训(CVP);<年代p一个n年代tyle="color:#228B22">%训练集指数年代p一个n>idxTest =测试(CVP);<年代p一个n年代tyle="color:#228B22">%测试集指数年代p一个n>
本量利
是一个交叉验证分区对象,它指定了训练集和测试集。
创建一个成本矩阵,这样患者心律失常分类到“无心律失常”类是五倍比分类没有心律失常的病人心律失常类。分类正确不得因其成本。行显示真正的阶级和列表明预测类。厂商进行分析时,一个良好的实践是指定的类。
成本= (0 0 1;5);一会= {<年代p一个n年代tyle="color:#A020F0">“NoArrhythmia”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“WithArrhythmia”年代p一个n>};
火车两个提高50分类树的集合体,一个使用使用LogitBoost AdaBoostM1和另一个。因为数据集包含缺失值,指定使用代理分裂。火车模型使用成本矩阵。
t = templateTree (<年代p一个n年代tyle="color:#A020F0">“代孕”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“上”年代p一个n>);numTrees = 50;C1 = fitcensemble (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“方法”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“AdaBoostM1”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“NumLearningCycles”年代p一个n>numTrees,<年代p一个n年代tyle="color:#A020F0">“学习者”年代p一个n>t<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“成本”年代p一个n>、成本、<年代p一个n年代tyle="color:#A020F0">“类名”年代p一个n>类名);C2 = fitcensemble (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“方法”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“LogitBoost”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“NumLearningCycles”年代p一个n>numTrees,<年代p一个n年代tyle="color:#A020F0">“学习者”年代p一个n>t<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“成本”年代p一个n>、成本、<年代p一个n年代tyle="color:#A020F0">“类名”年代p一个n>类名);
C1
和C2
被训练ClassificationEnsemble
模型。
计算测试数据通过使用分类损失损失
函数。指定LossFun
作为“classifcost”
计算误分类代价。
L1 =损失(C1, X (idxTest:), Y (idxTest),<年代p一个n年代tyle="color:#A020F0">“LossFun”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“classifcost”年代p一个n>)
L1 = 0.6642
L2 =损失(C2, X (idxTest:), Y (idxTest),<年代p一个n年代tyle="color:#A020F0">“LossFun”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“classifcost”年代p一个n>)
L2 = 0.8018
的误分类代价AdaBoostM1合奏(C1
)的成本小于LogitBoost合奏(C2
)。
测试的差异是否显著。厂商进行渐近,似然比,测试(默认当你传入一个成本矩阵)。供应成本矩阵,并返回<年代p一个nclass="emphasis">p值和错误分类的成本。
(h p e1, e2) = compareHoldout (C1, C2, X (idxTest:) X (idxTest:), Y (idxTest),<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“成本”年代p一个n>、成本、<年代p一个n年代tyle="color:#A020F0">“类名”年代p一个n>类名)
h =<年代p一个nclass="emphasis">逻辑0
p = 0.1180
e1 = 0.6698
e2 = 0.8093
h = 0
表明不拒绝零假设,这两个模型的预测精度。
的损失
函数使用观察权重归一化的先验概率(存储在之前
训练模型的属性),但是compareHoldout
函数不使用观察权重和先验概率。因此,误分类成本值(L1
和L2
)计算的损失
函数可以不同的值(e1
和e2
)计算的compareHoldout
函数。
选择功能使用统计精度比较
减少分类模型预测变量的复杂性通过选择一个子集(特性)从一个更大的组,然后统计比较两个模型之间的样本外的准确性。
加载电离层
数据集。
负载<年代p一个n年代tyle="color:#A020F0">电离层年代p一个n>;
创建一个分区,均匀地将数据分为训练集和测试集。
rng (1);<年代p一个n年代tyle="color:#228B22">%的再现性年代p一个n>本量利= cvpartition (Y,<年代p一个n年代tyle="color:#A020F0">“坚持”年代p一个n>,0.5);idxTrain =培训(CVP);<年代p一个n年代tyle="color:#228B22">%训练集指数年代p一个n>idxTest =测试(CVP);<年代p一个n年代tyle="color:#228B22">%测试集指数年代p一个n>
本量利
是一个交叉验证分区对象,它指定了训练集和测试集。
火车100提高了分类树的整体使用AdaBoostM1和整个的预测因子。检查每个预测的重要性衡量。
t = templateTree (<年代p一个n年代tyle="color:#A020F0">“MaxNumSplits”年代p一个n>1);<年代p一个n年代tyle="color:#228B22">% Weak-learner模板树对象年代p一个n>C2 = fitcensemble (X (idxTrain:), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“方法”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“AdaBoostM1”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“学习者”年代p一个n>t);predImp = predictorImportance (C2);图;酒吧(predImp);甘氨胆酸h =;h。XTick = 1:2: h.XLim (2)
h =轴属性:XLim: [-0.2000 - 35.2000] YLim: 0.0090 [0] XScale:“线性”YScale:“线性”GridLineStyle:“-”位置:[0.1300 0.1100 0.7750 0.8150)单位:“规范化”显示所有属性
标题(<年代p一个n年代tyle="color:#A020F0">“预测的重要性”年代p一个n>);包含(<年代p一个n年代tyle="color:#A020F0">“预测”年代p一个n>);ylabel (<年代p一个n年代tyle="color:#A020F0">的重要措施年代p一个n>);
识别出五大预测的重要性。
[~,idxSort] =排序(predImp,<年代p一个n年代tyle="color:#A020F0">“下”年代p一个n>);idx5 = idxSort (1:5);
列车的另一套100提高了分类树使用AdaBoostM1和五个最重要的预测因子。
C1 = fitcensemble (X (idxTrain idx5), Y (idxTrain),<年代p一个n年代tyle="color:#A020F0">“方法”年代p一个n>,<年代p一个n年代tyle="color:#A020F0">“AdaBoostM1”年代p一个n>,<年代p一个n年代tyle="color:#0000FF">…年代p一个n>“学习者”年代p一个n>t);
测试是否两个模型的预测精度。指定的减少测试集预测数据C1
和完整的测试集预测数据C2
。
(h p e1, e2) = compareHoldout (C1, C2, X (idxTest idx5) X (idxTest:), Y (idxTest))
h =<年代p一个nclass="emphasis">逻辑0
p = 0.7744
e1 = 0.0914
e2 = 0.0857
h = 0
表明不拒绝零假设,这两个模型的预测精度。这个结果支持简单的合奏,C1
。
输入参数
C1
- - - - - -<年代p一个n我te米prop="purpose">第一个训练分类模型年代p一个n>
训练分类模型对象年代p一个n>|<年代p一个n我te米prop="inputvalue">训练,紧凑的分类模型对象年代p一个n>
第一个训练分类模型,指定为任何训练分类模型对象或紧凑的这个表中描述的分类模型对象。
训练有素的模型类型 | 模型对象 | 返回的 |
---|---|---|
分类树 | ClassificationTree |
fitctree |
判别分析 | ClassificationDiscriminant |
fitcdiscr |
袋装分类模型的合奏 | ClassificationBaggedEnsemble |
fitcensemble |
系综分类模型 | ClassificationEnsemble |
fitcensemble |
多级、纠错输出编码(ECOC) | ClassificationECOC |
fitcecoc |
广义可加模型(GAM) | ClassificationGAM |
fitcgam |
k神经网络 | ClassificationKNN |
fitcknn |
朴素贝叶斯 | ClassificationNaiveBayes |
fitcnb |
神经网络 | ClassificationNeuralNetwork 与观测(行) |
fitcnet |
金宝app支持向量机(SVM) | ClassificationSVM |
fitcsvm |
紧凑的判别分析 | CompactClassificationDiscriminant |
紧凑的 |
紧凑ECOC | CompactClassificationECOC |
紧凑的 |
紧凑的系综分类模型 | CompactClassificationEnsemble |
紧凑的 |
紧凑的联欢 | CompactClassificationGAM |
紧凑的 |
简洁朴素贝叶斯 | CompactClassificationNaiveBayes |
紧凑的 |
紧凑的神经网络 | CompactClassificationNeuralNetwork |
紧凑的 |
紧凑的支持向量机 | CompactClassificationSVM |
紧凑的 |
紧凑的分类树 | CompactClassificationTree |
紧凑的 |
C2
- - - - - -<年代p一个n我te米prop="purpose">第二次训练分类模型年代p一个n>
训练分类模型对象年代p一个n>|<年代p一个n我te米prop="inputvalue">训练,紧凑的分类模型对象年代p一个n>
第二次训练分类模型,指定为任何训练分类模型对象或紧凑的分类模型对象,是一个有效的选择<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
。
T1
- - - - - -<年代p一个n我te米prop="purpose">第一个测试集预测数据分类模型年代p一个n>
表年代p一个n>
第一个分类模型,测试集预测数据<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
,指定为一个表。每一行的T1
对应于一个观察,每一列对应一个预测变量。可选地,T1
为响应变量可以包含一个额外的列。T1
必须包含所有的预测用于火车C1
。多列变量和细胞数组以外的细胞阵列的特征向量是不允许的。
T1
和<一个href="//www.tatmou.com/uk/help/stats/#d124e255570" class="intrnllnk">T2
必须有相同的行数和相同的响应值。如果T1
和T2
包含响应变量用来训练C1
和<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,那么你不需要指定<一个href="//www.tatmou.com/uk/help/stats/#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">ResponseVarName
或<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。
数据类型:年代trong>表
T2
- - - - - -<年代p一个n我te米prop="purpose">第二个测试集预测数据分类模型年代p一个n>
表年代p一个n>
第二个分类模型,测试集预测数据<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,指定为一个表。每一行的T2
对应于一个观察,每一列对应一个预测变量。可选地,T2
为响应变量可以包含一个额外的列。T2
必须包含所有的预测用于火车C2
。多列变量和细胞数组以外的细胞阵列的特征向量是不允许的。
T1
和T2
必须有相同的行数和相同的响应值。如果T1
和T2
包含响应变量用来训练<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
和C2
,那么你不需要指定<一个href="//www.tatmou.com/uk/help/stats/#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">ResponseVarName
或<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。
数据类型:年代trong>表
X1
- - - - - -<年代p一个n我te米prop="purpose">第一个测试集预测数据分类模型年代p一个n>
数字矩阵年代p一个n>
第一个分类模型,测试集预测数据<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
,指定为一个数字矩阵。
每一行的X1
对应于一个观察(也称为一个实例或例子),和每一列对应一个变量(也称为预测或特性)。培训使用的变量C1
必须写X1
。
的行数X1
和<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2
必须等于中的行数<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。
数据类型:年代trong>双
|单
X2
- - - - - -<年代p一个n我te米prop="purpose">第二个测试集预测数据分类模型年代p一个n>
数字矩阵年代p一个n>
第二个分类模型,测试集预测数据<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,指定为一个数字矩阵。
每一行的X2
对应于一个观察(也称为一个实例或例子),和每一列对应一个变量(也称为预测或特性)。培训使用的变量C2
必须写X2
。
的行数X2
和<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">X1
必须等于中的行数<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。
数据类型:年代trong>双
|单
ResponseVarName
- - - - - -<年代p一个n我te米prop="purpose">响应变量名年代p一个n>
一个变量的名字T1
和T2
响应变量名称,指定为一个变量的名字<一个href="//www.tatmou.com/uk/help/stats/#d124e255518" class="intrnllnk">T1
和<一个href="//www.tatmou.com/uk/help/stats/#d124e255570" class="intrnllnk">T2
。如果T1
和T2
包含响应变量用来训练<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
和<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
,那么你不需要指定ResponseVarName
。
您必须指定ResponseVarName
作为一个特征向量或字符串标量。例如,如果响应变量是存储为T1.Response
,然后指定它“响应”
。否则,软件将所有列T1
和T2
,包括响应
预测因子。
响应变量必须分类,字符,或字符串数组,逻辑或数值向量,或单元阵列的特征向量。如果响应变量是一个字符数组,数组的每个元素都必须对应一行。
数据类型:年代trong>字符
|字符串
Y
- - - - - -<年代p一个n我te米prop="purpose">真正的类标签年代p一个n>
分类数组年代p一个n>|<年代p一个n我te米prop="inputvalue">字符数组年代p一个n>|<年代p一个n我te米prop="inputvalue">字符串数组年代p一个n>|<年代p一个n我te米prop="inputvalue">逻辑向量年代p一个n>|<年代p一个n我te米prop="inputvalue">数值向量年代p一个n>|<年代p一个n我te米prop="inputvalue">单元阵列的特征向量年代p一个n>
指定正确的类标签,分类,特点,或字符串数组,逻辑或数值向量,或单元阵列的特征向量。
当你指定Y
,compareHoldout
将所有变量的矩阵<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">X1
和<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2
或表<一个href="//www.tatmou.com/uk/help/stats/#d124e255518" class="intrnllnk">T1
和<一个href="//www.tatmou.com/uk/help/stats/#d124e255570" class="intrnllnk">T2
作为预测变量。
如果Y
每个元素是一个字符数组,那么必须对应一个数组的行。
预测数据的行数必须等于中的行数Y
。
数据类型:年代trong>分类
|字符
|字符串
|逻辑
|单
|双
|细胞
请注意年代trong>
南
年代,<定义>
值、空特征向量(”
),空字符串(”“
),<失踪>
值显示缺失值。compareHoldout
删除缺失值Y
和相应的行X1
和X2
。此外,compareHoldout
预测类是否X1
和X2
失踪的观察。
名称-值参数
指定可选的双参数作为Name1 = Value1,…,以=家
,在那里的名字
参数名称和吗价值
相应的价值。名称-值参数必须出现在其他参数,但对的顺序无关紧要。
R2021a之前,用逗号来分隔每一个名称和值,并附上的名字
在报价。
例子:年代trong>compareHoldout (C1, C2, X1, X2, Y,‘选择’,‘大’,‘测试’,“渐近”,“成本”,[0 2;1 0])
测试是否第一组比第二个更准确预测类标签集,进行渐近McNemar检验法测试和惩罚分类观察与真正的标签一会{1}
两倍分类观察与真正的标签一会{2}
。年代p一个n>
α
- - - - - -<年代p一个n我te米prop="purpose">假设检验显著性水平年代p一个n>
0.05
(默认)|<年代p一个n我te米prop="inputvalue">标量值的时间间隔(0,1)年代p一个n>
假设检验显著性水平,指定为逗号分隔组成的“α”
和一个标量值的区间(0,1)。
例子:年代trong>“阿尔法”,0.1
数据类型:年代trong>单
|双
替代
- - - - - -<年代p一个n我te米prop="purpose">备择假设评估年代p一个n>
“不平等”
(默认)|<年代p一个n我te米prop="inputvalue">“更大的”
|<年代p一个n我te米prop="inputvalue">“少”
备择假设评估,指定为逗号分隔组成的“替代”
表中列出的值。
价值 | 备择假设 |
---|---|
“不平等” (默认) |
预测<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y 的预测结果<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1 应用于<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">X1 和<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2 应用于<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2 不平等的精度。 |
“更大的” |
预测Y 的预测结果C1 应用于X1 更精确的比C2 应用于X2 。 |
“少” |
预测Y 的预测结果C1 应用于X1 不太准确的比C2 应用于X2 。 |
例子:年代trong>“替代”、“大”
一会
- - - - - -<年代p一个n我te米prop="purpose">类名年代p一个n>
分类数组年代p一个n>|<年代p一个n我te米prop="inputvalue">字符数组年代p一个n>|<年代p一个n我te米prop="inputvalue">字符串数组年代p一个n>|<年代p一个n我te米prop="inputvalue">逻辑向量年代p一个n>|<年代p一个n我te米prop="inputvalue">数值向量年代p一个n>|<年代p一个n我te米prop="inputvalue">单元阵列的特征向量年代p一个n>
类名称,指定为逗号分隔组成的“类名”
和分类、字符或字符串数组,逻辑或数值向量,或单元阵列的特征向量。必须设置一会
使用的数据类型<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。
如果一会
每个元素是一个字符数组,那么必须对应一个数组的行。
使用一会
:
指定的任何输入参数维度对应于类订单。例如,使用
一会
指定的尺寸<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Cost" class="intrnllnk">成本
。选择一个子集的类进行测试。例如,假设所有不同的类名称的集合
Y
是{' a ', ' b ', ' c '}
。训练和测试模型利用类的观察“一个”
和“c”
只是,指定“类名”,{' a ', ' c '}
。
默认是所有不同的类名称的集合Y
。
例子:年代trong>“类名”,{' b ', ' g '}
数据类型:年代trong>分类
|字符
|字符串
|逻辑
|单
|双
|细胞
成本
- - - - - -<年代p一个n我te米prop="purpose">误分类代价年代p一个n>
方阵年代p一个n>|<年代p一个n我te米prop="inputvalue">结构数组年代p一个n>
误分类代价,指定为逗号分隔组成的“成本”
和一个方阵或结构数组。
如果你指定方阵
成本
,然后成本(i, j)
是一个指向类分类的成本j
如果它真正的类我
。即行对应于真正的阶级和列对应于预测类。指定的类订单相应的行和列成本
,另外指定<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-ClassNames" class="intrnllnk">一会
名称-值对的论点。如果你指定的结构
年代
,然后年代
必须有两个字段:S.ClassNames
,其中包含类名相同的数据类型的一个变量<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
。你可以用这个字段来指定类的顺序。S.ClassificationCosts
,其中包含成本矩阵,行和列命令一样S.ClassNames
。
如果您指定成本
,然后compareHoldout
不能进行片面的,确切的,或中期“替代”、“不平等”,“测试”、“渐近”
。厂商在为测试选项,请参阅<一个href="//www.tatmou.com/uk/help/stats/#d124e256214" class="intrnllnk">成本
名称-值对的论点。
最佳实践是供应相同的成本矩阵用于训练分类模型。
默认值是成本(i, j) = 1
如果我~ = j
,成本(i, j) = 0
如果我=我
。
例子:年代trong>“成本”,[0 1 2;1 0 2;2 2 0)
数据类型:年代trong>单
|双
|结构体
成本
- - - - - -<年代p一个n我te米prop="purpose">敏感的测试类型年代p一个n>
“可能性”
(默认)|<年代p一个n我te米prop="inputvalue">“chisquare”
敏感的测试类型,指定为逗号分隔组成的“成本”
和“chisquare”
或“可能性”
。如果你不指定一个矩阵使用成本<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Cost" class="intrnllnk">成本
名称-值对的论点,compareHoldout
忽略了成本
。
这个表总结了厂商测试的可用选项。
价值 | 渐近测试类型 | 需求 |
---|---|---|
“chisquare” |
卡方检验 | 优化工具箱来实现<一个href="//www.tatmou.com/uk/uk/help/optim/ug/quadprog.html">quadprog (优化工具箱)年代p一个n> |
“可能性” |
似然比检验 | 没有一个 |
更多细节,请参阅<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的测试方案一个>。
例子:年代trong>“成本”、“chisquare”
测试
- - - - - -<年代p一个n我te米prop="purpose">测试进行年代p一个n>
渐近的
|<年代p一个n我te米prop="inputvalue">“准确”
|<年代p一个n我te米prop="inputvalue">midp的
测试进行,指定为逗号分隔组成的“测试”
和渐近的
,“准确”
,或midp的
。
这个表总结了cost-insensitive测试的可用选项。
价值 | 描述 |
---|---|
渐近的 |
渐近McNemar检验法检验 |
“准确” |
Exact-conditional McNemar检验法检验 |
midp的 (默认) |
中期 |
更多细节,请参阅<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验法测试一个>。
厂商在为测试,测试
必须渐近的
。当你指定<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Cost" class="intrnllnk">成本
厂商名称-值对参数,选择一个测试使用<一个href="//www.tatmou.com/uk/help/stats/#d124e256214" class="intrnllnk">成本
名称-值对的论点,渐近的
是默认的。
例子:年代trong>“测试”、“渐近的
输出参数
h
——假设检验结果
1
|0
假设检验的结果,作为一个逻辑值返回。
h = 1
表示拒绝零假设的<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Alpha" class="intrnllnk">α
显著性水平。
h = 0
指出失败的拒绝零假设α
显著性水平。
数据类型:年代trong>逻辑
p
- - - - - -p 价值
标量的区间[0,1]年代p一个n>
p测试的价值,作为一个标量返回在区间[0,1]。p
的概率是随机检验统计量至少是极端观察到的检验统计量,考虑到零假设是正确的。
compareHoldout
估计p
使用检验统计量的分布,随测试的类型。细节测试统计数据来源于McNemar检验法的可用变异测试,看看<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验法测试一个>。细节测试统计数据来自厂商测试,看看<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的测试方案一个>。
数据类型:年代trong>双
e1
——分类损失
数字标量年代p一个n>
分类损失,作为一个数字返回标量。e1
总结了第一组类标签的准确性预测真正的类标签(<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)。compareHoldout
适用于第一个测试集预测数据(<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">X1
)第一个分类模型(<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">C1
)估计第一组类标签。然后,功能比较估计标签Y
获取分类损失。
对于cost-insensitive测试,e1
是误分类率。也就是说,e1
更进一步观察的比例,这是一个标量在区间[0,1]。
厂商在为测试,e1
是误分类代价。也就是说,e1
误分类代价的加权平均,权重的各自的比例估计分类错误的观察。
有关更多信息,请参见<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失一个>。
数据类型:年代trong>双
e2
——分类损失
数字标量年代p一个n>
分类损失,作为一个数字返回标量。e2
总结了第二组类标签的准确性预测真正的类标签(<一个href="//www.tatmou.com/uk/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)。compareHoldout
适用于第二个测试集预测数据(<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2
)第二分类模型(<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">C2
)估计第二组类标签。然后,功能比较估计标签Y
获取分类损失。
对于cost-insensitive测试,e2
是误分类率。也就是说,e2
更进一步观察的比例,这是一个标量在区间[0,1]。
厂商在为测试,e2
是误分类代价。也就是说,e2
误分类代价的加权平均,权重的各自的比例估计分类错误的观察。
有关更多信息,请参见<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失一个>。
数据类型:年代trong>双
限制
compareHoldout
不比较ECOC模型组成的线性或内核分类模型(即,<一个href="//www.tatmou.com/uk/uk/help/stats/classificationlinear-class.html">ClassificationLinear
或<一个href="//www.tatmou.com/uk/uk/help/stats/classificationkernel.html">ClassificationKernel
模型对象)。比较ClassificationECOC
模型由线性或内核分类模型,使用<一个href="//www.tatmou.com/uk/uk/help/stats/testcholdout.html">testcholdout
代替。同样的,
compareHoldout
不比较<一个href="//www.tatmou.com/uk/uk/help/stats/classificationlinear-class.html">ClassificationLinear
或<一个href="//www.tatmou.com/uk/uk/help/stats/classificationkernel.html">ClassificationKernel
模型对象。比较这些模型,使用testcholdout
代替。
更多关于
降低成本的测试方案
行为
如果误分类的成本是不平衡,误分类率往往是一个业绩不佳的分类损失。使用误分类代价比较分类模型。
误分类代价往往是不平衡的应用。例如,考虑分类主题基于一组预测分为两类:健康和生病。将生病的主题划分健康构成危险的生活。然而,将一个健康主题划分为生病通常造成一些不便,但不构成重大危险。在这种情况下,你分配错误分类成本等,将生病的主题划分健康比将一个健康主题划分为更昂贵的生病。
厂商的定义,总结了测试。的定义:
n<年代ub>ijk年代ub>和<年代p一个nclass="inlineequation"> 是测试样本的数量和比例估计观测具有以下特点。
k 是真正的类,我 标签指定的第一个分类模型,然后呢j 由第二个分类标签分配模型。未知的真实价值<年代p一个nclass="inlineequation"> 是π<年代ub>ijk年代ub>。测试集样本大小<年代p一个nclass="inlineequation"> 此外,<年代p一个nclass="inlineequation"> c<年代ub>ij年代ub>相对成本分配标签吗
j 观察与真正的类我 。c<年代ub>二世年代ub>= 0, c<年代ub>ij年代ub>≥0,至少一个( 我 ,j ),c<年代ub>ij年代ub>> 0。 所有下标从1到取整数值
K 类的数量。预期的不同误分类代价的两种分类模型
假设检验是
厂商提供测试适合双尾检验。
渐近的测试地址不平衡成本可用
卡方检验-皮尔逊卡方检验统计量是基于和Neyman卡方检验统计数据,但拉普拉斯校正因子为任何帐户
n<年代ub>ijk年代ub>= 0。测试数据 如果<年代p一个nclass="inlineequation"> ,然后拒绝
H 0年代ub>。估计通过最小化<年代p一个nclass="inlineequation"> 的约束下
δ = 0。是
χ 2年代up>提供与一个自由度的评估x 。
似然比检验,测试是基于似然比
N<年代ub>ijk年代ub>二项随机变量的样本大小 n<年代ub>测试年代ub>和成功概率 π<年代ub>ijk年代ub>。随机变量代表了随机数的观察:真正的类 k 、标签我 由第一个分类模型,和标签j 由第二个分类模型。共同,多项分布的随机变量。测试数据
如果<年代p一个nclass="inlineequation"> 然后拒绝
H 0年代ub>。是不受限制的大中型企业的
π<年代ub>ijk年代ub>。 企业的零假设下吗
δ = 0。λ 的解决方案是是
χ 2年代up>提供与一个自由度的评估x 。
McNemar检验法测试
McNemar检验法测试假设测试,比较两个人口比例,同时解决问题造成两个依赖,匹配配对样本。
一个方法比较两种分类模型的预测精度是:
分区数据分为训练集和测试集。
使用训练集训练分类模型。
使用测试集预测类标签。
总结2乘2表中的结果类似于这个数字。
n<年代ub>二世年代ub>整合对的数量,也就是说,两种模型的观测数量分类(正确或不正确)。
n<年代ub>ij年代ub>, 我 ≠j 不和谐的双的数量,也就是说,观察的数量模型分类不同(正确或不正确)。
1和2的误分类率模型<年代p一个nclass="inlineequation"> 和<年代p一个nclass="inlineequation"> ,分别。一个双边测试比较两个模型的准确性
零假设表明人口展品边际同质性,这减少了零假设<年代p一个nclass="inlineequation">
此外,在零假设下,
这些事实是可用McNemar检验法的基础测试变异:
渐近,渐近McNemar检验法检验统计和排斥地区(显著性水平
α ):对于单边测试,检验统计量
如果<年代p一个nclass="inlineequation"> 在哪里
Φ 是标准的高斯提供,那么拒绝H 0年代ub>。对于双向测试,检验统计量
如果<年代p一个nclass="inlineequation"> ,在那里<年代p一个nclass="inlineequation"> 是
χ<年代ub>米年代ub>2年代up>提供评估在 x ,然后拒绝H 0年代ub>。
渐近的测试需要大样本理论,具体地说,二项分布的高斯近似。
的总数不一致的对,<年代p一个nclass="inlineequation"> ,必须大于10 (<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[1]一个>,Ch。10.1.4)。
一般来说,渐近的测试并不能保证名义覆盖率。观察到的错误拒绝零假设的概率可以超过
α 书中建议的那样,仿真研究<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[18]一个>。然而,渐近McNemar检验法测试表现良好的统计力量。
Exact-Conditional——Exact-Conditional McNemar检验法检验统计和排斥地区(显著性水平
α )(<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[36]一个>,<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[38]一个>):对于单边测试,检验统计量
如果<年代p一个nclass="inlineequation"> ,在那里<年代p一个nclass="inlineequation"> 是二项cdf样本大小
n 和成功概率p 评估在x ,然后拒绝H 0年代ub>。对于双向测试,检验统计量
如果<年代p一个nclass="inlineequation"> ,然后拒绝
H 0年代ub>。
exact-conditional测试总是达到名义覆盖率。仿真研究<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[18]一个>建议测试是保守的,然后显示测试缺乏统计力量相对于其他变体。对于小或高度离散的测试样品,考虑使用中期
p 值测试(<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[1]一个>,Ch。3.6.3)。中期
p 值测试——中期p 价值McNemar检验法检验统计和排斥地区(显著性水平α )(<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[32]一个>):对于单边测试,检验统计量
如果<年代p一个nclass="inlineequation"> ,在那里<年代p一个nclass="inlineequation"> 和<年代p一个nclass="inlineequation"> 分别二项式cdf和pdf,样本大小
n 和成功概率p 评估在x ,然后拒绝H 0年代ub>。对于双向测试,检验统计量
如果<年代p一个nclass="inlineequation"> ,然后拒绝
H 0年代ub>。
年代中期
p 值测试地址的保守派的行为exact-conditional测试。仿真研究<一个href="//www.tatmou.com/uk/uk/help/stats/bibliography.html" class="a">[18]一个>证明这个测试达到名义覆盖率,和具有良好的统计力量。
分类损失
分类损失显示一个分类模型或一组预测的准确性标签。两个分类损失是误分类率和成本。
compareHoldout
返回分类损失(见e1
和e2
)在备择假设下(即无限制的分类损失)。
的
误分类率 ,或分类错误,是一个标量在区间[0,1]代表的比例更进一步的观察。也就是说,第一个分类模型的误分类率第二个分类模型的误分类率(
e 2年代ub>),切换指标我 和j 的公式。分类精度降低的误分类率增加1。
的
误分类代价 是一个非负标量测量的分类质量相对于指定的值成本矩阵。它的解释取决于指定的错误分类的成本。误分类代价是误分类的加权平均成本(中指定一个成本矩阵,C )的权重分别是估计比例更进一步的观察。第一个分类模型的误分类代价在哪里
c<年代ub>kj年代ub>分类的成本是一个观察到班呢 j 如果它真正的类k 。第二个分类模型(误分类代价的e 2年代ub>),切换指标我 和j 的公式。一般来说,对于一个固定成本矩阵,分类精度降低误分类成本上升。
提示
执行cost-insensitive特征选择的方法之一是:
火车的第一个分类模型(<一个href="//www.tatmou.com/uk/help/stats/#d124e255297" class="intrnllnk">
C1
使用完整的预测集)。火车第二分类模型(<一个href="//www.tatmou.com/uk/help/stats/#d124e255496" class="intrnllnk">
C2
使用减少预测集)。指定<一个href="//www.tatmou.com/uk/help/stats/#shared-X1" class="intrnllnk">
X1
完整的测试集预测数据和<一个href="//www.tatmou.com/uk/help/stats/#shared-X2" class="intrnllnk">X2
为减少测试集预测数据。输入
compareHoldout (C1, C2, X1, X2, Y,“另类”、“少”)
。如果compareHoldout
返回1
,然后有足够的证据表明,使用更少的分类模型预测性能优于模型,使用完整的预测集。
或者,您可以评估是否有显著区别这两个模型的精度。执行此评估,删除
“替代”、“少”
规范在步骤4。compareHoldout
进行双向测试,h = 0
表示没有足够的证据显示在两个模型的准确性。敏感的测试执行数值优化,这就需要更多的计算资源。似然比检验进行数值优化间接通过拉格朗日乘子的根在一个时间间隔。对于一些数据集,如果根是接近区间的边界,那么方法可以失败。因此,如果你有一个优化工具箱许可,考虑厂商进行卡方检验。更多细节,请参阅<一个href="//www.tatmou.com/uk/help/stats/#d124e256214" class="intrnllnk">
成本
和<一个href="//www.tatmou.com/uk/uk/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的测试方案一个>。
选择功能
直接比较两组类标签的准确性预测一组真正的类标签,使用<一个href="//www.tatmou.com/uk/uk/help/stats/testcholdout.html">testcholdout
。
引用
[1]Agresti,。
[2]Fagerlan,分子量,年代。lydersen, and P. Laake. “The McNemar Test for Binary Matched-Pairs Data: Mid-p and Asymptotic Are Better Than Exact Conditional.”
兰开斯特,[3]H.O.“意义测试在离散分布。”
[4]McNemar检验法,问:“注意抽样误差的相关比例或百分比之间的区别。”
[5]Mosteller, f”一些统计测量主观对药物反应的问题。”
扩展功能
GPU数组
加速代码运行在一个图形处理单元(GPU)使用并行计算工具箱™。年代p一个n>
使用笔记和限制:
这个函数支持GPU数组与限制金宝app这个表中描述的分类模型。
全部或紧凑的模型对象 限制 ClassificationECOC
或<一个href="//www.tatmou.com/uk/uk/help/stats/classreg.learning.classif.compactclassificationecoc.html">CompactClassificationECOC
代理不支持分裂为决策树的学习者。金宝app
然而,学习者,你不能设置以下选项:显示的值
“NSMethod”、“kdtree”
“距离”
函数处理“IncludeTies”,真的
ClassificationEnsemble
或<一个href="//www.tatmou.com/uk/uk/help/stats/classreg.learning.classif.compactclassificationensemble-class.html">CompactClassificationEnsemble
代理不支持分裂为决策树的学习者。金宝app
然而,学习者,你不能设置以下选项:显示的值
“NSMethod”、“kdtree”
“距离”
函数处理“IncludeTies”,真的
ClassificationKNN
你不能设置以下选项:显示的值
“NSMethod”、“kdtree”
“距离”
函数处理“IncludeTies”,真的
ClassificationSVM
或<一个href="//www.tatmou.com/uk/uk/help/stats/classreg.learning.classif.compactclassificationsvm.html">CompactClassificationSVM
看到下面成了一个不支持的分类。金宝app
ClassificationTree
或<一个href="//www.tatmou.com/uk/uk/help/stats/classreg.learning.classif.compactclassificationtree-class.html">CompactClassificationTree
代理不支持分裂。金宝app compareHoldout
在这些情况下只有GPU执行:或两个输入参数
X1
和X2
GPU数组。或两个输入参数
T1
和T2
包含gpuArray
预测变量。或两个输入参数
C1
和C2
是安装了GPU数组输入参数。C1
和C2
不能支持向量机分类器或者使用SVM的学习者。
有关更多信息,请参见<一个href="//www.tatmou.com/uk/uk/help/parallel-computing/run-matlab-functions-on-a-gpu.html" class="a">运行在GPU MATLAB函数一个>(并行计算工具箱)年代p一个n>。
版本历史
介绍了R2015a年代trong>
另请参阅
testckfold
|<年代p一个n我te米年代cope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">testcholdout
主题
MATLAB命令
你点击一个链接对应MATLAB命令:
运行该命令通过输入MATLAB命令窗口。Web浏览器不支持MATLAB命令。金宝app
选择一个网站
选择一个网站翻译内容,看到当地事件和提供。根据你的位置,我们建议您选择:<年代trong class="recommended-country">。
你也可以从下面的列表中选择一个网站:
表现最好的网站怎么走吗
选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。