比较两种分类模型的精度重复交叉验证
testckfold
统计评估两种分类模型的精度反复交叉验证图谱两个模型,确定不同的分类,然后制定检验统计量相结合的分类损失差异。这种类型的测试尤其合适当样本容量是有限的。
你可以评估是否分类模型的精度是不同的,还是一个分类模型执行比另一个。可用的测试包括一个5×2配对t测试,一个5×2配对F测试和一个10 *重复交叉验证t测试。更多细节,请参阅重复交叉验证测试。加速计算,testckfold
金宝app支持并行计算(需要并行计算工具箱™的许可)。
在每一个节点,fitctree
选择最佳预测值将默认使用一个详尽的搜索。或者,您可以选择将预测显示最依赖的证据进行弯曲测试的反应。这个例子统计比较分类树种植通过穷举搜索最好的分裂和生长进行曲率与交互测试。
加载census1994
数据集。
负载census1994.matrng (1)%的再现性
增加一个默认使用训练集分类树,adultdata
,这是一个表。反应变量名称是“工资”
。
C1 = fitctree (adultdata“工资”)
C1 = ClassificationTree PredictorNames: {1 x14细胞}ResponseName:“工资”CategoricalPredictors:[2 4 6 7 8 9 10 14]一会:(< = 50 k > 50 k) ScoreTransform:“没有一个”NumObservations: 32561属性,方法
C1
是一个完整的ClassificationTree
模型。它的ResponseName
属性是“工资”
。C1
使用穷举搜索来找到最好的预测将在基于最大分割获得。
增加另一个分类树使用相同的数据集,但指定找到最佳预测值与交互分割使用曲率测试。
C2 = fitctree (adultdata,“工资”,“PredictorSelection”,“interaction-curvature”)
C2 = ClassificationTree PredictorNames: {1 x14细胞}ResponseName:“工资”CategoricalPredictors:[2 4 6 7 8 9 10 14]一会:(< = 50 k > 50 k) ScoreTransform:“没有一个”NumObservations: 32561属性,方法
C2
也是一个完整的ClassificationTree
模型与ResponseName
等于“工资”
。
进行一个5×2配对F测试比较两个模型的精度使用训练集,因为数据集和反应变量的名字ResponseName
属性都相同的情况下,和响应数据集是相等的,你可以省略提供响应数据。
h = testckfold (C1、C2、adultdata adultdata)
h =逻辑0
h = 0
表示不拒绝零假设C1
和C2
有相同的精度在5%的水平。
的误分类率进行统计检验比较两个模型使用一个5×2配对F测试。
加载费雪的虹膜数据集。
负载fisheriris;
创建一个朴素贝叶斯模板和一个分类树模板使用默认选项。
C1 = templateNaiveBayes;C2 = templateTree;
C1
和C2
模板对象对应于朴素贝叶斯和分类树算法,分别。
测试是否两个模型的预测精度。使用相同的每个模型的预测数据。testckfold
进行一个5×2,两面,配对F默认测试。
rng (1);%的再现性h = testckfold (C1、C2、量量,物种)
h =逻辑0
h = 0
表明不拒绝零假设,这两个模型的预测精度。
进行统计检验来评估是否更简单的模型具有更好的准确性比一个更复杂的模型使用一个10 *重复交叉验证t测试。
加载费雪的虹膜数据集。创建一个成本矩阵,处罚分类setosa虹膜分类virginica虹膜作为两倍多色的。
负载fisheriris;汇总(物种)
值计算百分比setosa 50杂色的50 virginica 50 33.33% 33.33% 33.33%
成本= [0 2 2;2 0 1 2 1 0];一会= {“setosa”“多色的”“virginica”};…%指定行和列的顺序在成本
类的经验分布是均匀的,分类成本略有不平衡。
创建两个ECOC模板:一个使用二进制学习者和使用线性支持向量机SVM二进制学习者配备了RBF的内核。
tSVMLinear = templateSVM (“标准化”,真正的);默认%线性支持向量机tSVMRBF = templateSVM (“KernelFunction”,“RBF”,“标准化”,真正的);C1 = templateECOC (“学习者”,tSVMLinear);C2 = templateECOC (“学习者”,tSVMRBF);
C1
和C2
ECOC模板对象。C1
是准备线性支持向量机。C2
准备与一个RBF核函数训练支持向量机。
测试简单的零假设模型(C1
)是最准确的更复杂的模型(C2
)的分类成本。进行10 *重复交叉验证测试。请求返回p值和错误分类的成本。
rng (1);%的再现性(h p e1, e2) = testckfold (C1、C2、量量,物种,…“替代”,“更大的”,“测试”,“10 x10t”,“成本”、成本、…“类名”类名)
h =逻辑0
p = 0.1077
e1 =10×100 0 0 0 0 0.0667 0.1333 0.0667 0.0667 0.1333 0.0667 - 0.0667 0 0 0 0 0 0 0 0 0 0 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0 0 0 0 0 0 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.1333 0 0 0 0 0 0 0 0 0 0 0 0 0.0667 0 0 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.1333 0.0667 - 0.0667 0.0667 - 0.0667 0 0 0 0 0 0 0 0 0 0 0 0.0667 0.0667 0.1333 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0 0 0 0
e2 =10×100 0 0 0 0 0 0.0667 0.1333 0.1333 0.2667 0.0667 - 0.0667 0.1333 0 0 0 0 0 0 0 0 0.0667 0.1333 0.1333 0.0667 0.1333 0.1333 0.0667 0.0667 0.0667 0.1333 0.0667 0.0667 0.1333 0.1333 0 0 0 0 0 0 0.0667 0.0667 0.0667 0.0667 0.1333 0.1333 0.0667 0.0667 0.0667 - 0.0667 0 0.0667 0.1333 0.0667 0.0667 0.2000 0.0667 0 0 0 0 0 0.1333 0.0667 0.2000 0.0667 0 0 0.0667 0.1333 0.1333 0 0 0 0 0 0 0 0 0 0.2000 0.1333 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.1333 0.0667 0.0667 - 0.1333 0 0
的p值略大于0.10,这表明保留最多的简单模型的零假设是尽可能准确的更复杂的模型。这个结果是一致的任何显著性水平(α
0.10)最多。
e1
和e2
是10 *包含误分类代价矩阵。行r对应于运行r的重复交叉验证。列k对应于测试集褶皱k在一个特定的交叉验证。例如,元素(2、4)e2
是0.1333。这个值意味着在交叉验证运行2中,当测试集是4折,估计测试集误分类代价是0.1333。
减少分类模型预测变量的复杂性通过选择一个子集(特性)从一个更大的组,然后统计比较两个模型之间的精度。
加载电离层
数据集。
负载电离层
火车100提高了分类树的整体使用AdaBoostM1和整个的预测因子。检查每个预测的重要性衡量。
t = templateTree (“MaxNumSplits”1);% Weak-learner模板树对象C = fitcensemble (X, Y,“方法”,“AdaBoostM1”,“学习者”t);predImp = predictorImportance (C);甘氨胆酸栏(predImp) h =;h。XTick = 1:2:h.XLim(2); title(“预测重要性”)包含(“预测”)ylabel (的重要措施)
识别出五大预测的重要性。
[~,idxSort] =排序(predImp,“下”);idx5 = idxSort (1:5);
测试是否两个模型的预测精度。指定了数据集,然后完整的预测数据。利用并行计算来加速计算。
s = RandStream (“mlfg6331_64”);选择= statset (“UseParallel”,真的,“流”年代,“UseSubstreams”,真正的);(h p e1, e2) = testckfold (C、C、X (:, idx5), X, Y,“选项”选项)
开始平行池(parpool)使用“本地”概要文件…连接到平行池(工人数量:6)。
h =逻辑0
p = 0.4161
e1 =5×20.0686 0.0795 0.0800 0.0625 0.0914 0.0568 0.0400 0.0739 0.0914 0.0966
e2 =5×20.0914 0.0625 0.1257 0.0682 0.0971 0.0625 0.0800 0.0909 0.0914 0.1193
testckfold
对待训练分类模型作为模板,所以忽略了所有安装参数C
。也就是说,testckfold
交叉验证C
只使用指定的选项和预测数据来估计out-of-fold分类损失。
h = 0
表明不拒绝零假设,这两个模型的预测精度。这个结果支持简单的合奏。
C1
- - - - - -分类模型模板或训练分类模型分类模型模板或训练分类模型,指定为任何分类模型模板对象或训练分类模型对象在这些表中描述。
模板类型 | 返回的 |
---|---|
分类树 | templateTree |
判别分析 | templateDiscriminant |
合奏(增强、装袋和随机子空间) | templateEnsemble |
纠错输出编码(ECOC)、多级分类模型 | templateECOC |
k神经网络 | templateKNN |
朴素贝叶斯 | templateNaiveBayes |
金宝app支持向量机(SVM) | templateSVM |
训练有素的模型类型 | 模型对象 | 返回的 |
---|---|---|
分类树 | ClassificationTree |
fitctree |
判别分析 | ClassificationDiscriminant |
fitcdiscr |
袋装分类模型的合奏 | ClassificationBaggedEnsemble |
fitcensemble |
系综分类模型 | ClassificationEnsemble |
fitcensemble |
ECOC模型 | ClassificationECOC |
fitcecoc |
广义可加模型(GAM) | ClassificationGAM |
fitcgam |
k神经网络 | ClassificationKNN |
fitcknn |
朴素贝叶斯 | ClassificationNaiveBayes |
fitcnb |
神经网络 | ClassificationNeuralNetwork 与观测(行) |
fitcnet |
支持向量机 | ClassificationSVM |
fitcsvm |
为了提高效率,提供一个分类模型模板对象,而不是一个训练分类模型对象。
C2
- - - - - -分类模型模板或训练模型分类模型模板或训练分类模型,指定为任何分类模型模板对象或训练分类模型对象在这些表中描述。
模板类型 | 返回的 |
---|---|
分类树 | templateTree |
判别分析 | templateDiscriminant |
合奏(增强、装袋和随机子空间) | templateEnsemble |
纠错输出编码(ECOC)、多级分类模型 | templateECOC |
k神经网络 | templateKNN |
朴素贝叶斯 | templateNaiveBayes |
金宝app支持向量机(SVM) | templateSVM |
训练有素的模型类型 | 模型对象 | 返回的 |
---|---|---|
分类树 | ClassificationTree |
fitctree |
判别分析 | ClassificationDiscriminant |
fitcdiscr |
袋装分类模型的合奏 | ClassificationBaggedEnsemble |
fitcensemble |
系综分类模型 | ClassificationEnsemble |
fitcensemble |
ECOC模型 | ClassificationECOC |
fitcecoc |
广义可加模型(GAM) | ClassificationGAM |
fitcgam |
k神经网络 | ClassificationKNN |
fitcknn |
朴素贝叶斯 | ClassificationNaiveBayes |
fitcnb |
神经网络 | ClassificationNeuralNetwork 与观测(行) |
fitcnet |
支持向量机 | ClassificationSVM |
fitcsvm |
为了提高效率,提供一个分类模型模板对象,而不是一个训练分类模型对象。
Y
- - - - - -真正的类标签指定正确的类标签,分类,特点,或字符串数组,一个逻辑或数值向量,一个细胞的特征向量,特征向量或字符串标量。
对于一个向量或字符串标量人物,X1
和X2
必须表,他们响应变量必须具有相同的名称和值,然后呢Y
必须是共同的变量名。例如,如果X1.Labels
和X2.Labels
响应变量,那么Y
是“标签”
和X1.Labels
和X2.Labels
必须是等价的。
对于所有其他受支持的数据类型金宝app,Y
是真正的数组类标签。
如果Y
每个元素是一个字符数组,那么必须对应一个数组的行。
X1
,X2
,Y
必须有相同数量的观察(行)。
如果这两个语句是正确的,那么你可以省略提供Y
。
因此,testckfold
使用共同的响应变量的表。例如,如果在表响应变量X1.Labels
和X2.Labels
和的值C1.ResponseName
和C2.ResponseName
是“标签”
,那么你不需要供应Y
。
数据类型:分类
|字符
|字符串
|逻辑
|单
|双
|细胞
指定可选的逗号分隔条名称,值
参数。的名字
参数名称和吗价值
相应的价值。的名字
必须出现在引号。您可以指定几个名称和值对参数在任何顺序Name1, Value1,…,的家
。
“替代”、“大”、“测试”,“10 x10t”、“选项”,statsset (UseParallel,真的)
指定测试是否第一组第一个比第二个更准确预测类标签集,进行10 t测试和交叉验证使用并行计算。
α
- - - - - -假设检验显著性水平0.05
(默认)|标量值的时间间隔(0,1)假设检验显著性水平,指定为逗号分隔组成的“α”
和一个标量值的区间(0,1)。
例子:“阿尔法”,0.1
数据类型:单
|双
X1CategoricalPredictors
- - - - - -标志识别分类预测[]
(默认)|逻辑向量|数值向量|“所有”
标志识别分类预测的测试集预测数据(X1
),指定为逗号分隔组成的“X1CategoricalPredictors”
和下列之一:
一个数值向量和指数1
通过p
,在那里p
列的数量吗X1
。
一个逻辑向量的长度p
,一个真正的
条目意味着相应的列X1
是一个分类变量。
“所有”
,这意味着所有的预测都直言。
默认值是[]
,这表明数据不包含分类预测。
对于一个k神经网络分类模型,有效的选项[]
和“所有”
。
您必须指定X1CategoricalPredictors
如果X1
是一个矩阵,包括分类预测。testckfold
不使用CategoricalPredictors
的属性C1
当C1
是一个训练分类模型。如果C1
是一个训练有素的模型与分类预测,指定X1CategoricalPredictors, C1.CategoricalPredictors
。
例子:“X1CategoricalPredictors”、“所有”
数据类型:单
|双
|逻辑
|字符
|字符串
X2CategoricalPredictors
- - - - - -标志识别分类预测[]
(默认)|逻辑向量|数值向量|“所有”
标志识别分类预测在第二个测试集预测数据(X2
),指定为逗号分隔组成的“X2CategoricalPredictors”
和下列之一:
一个数值向量和指数1
通过p
,在那里p
列的数量吗X2
。
一个逻辑向量的长度p
,一个真正的
条目意味着相应的列X2
是一个分类变量。
“所有”
,这意味着所有的预测都直言。
默认值是[]
,这表明数据不包含分类预测。
对于一个k神经网络分类模型,有效的选项[]
和“所有”
。
您必须指定X2CategoricalPredictors
如果X2
是一个矩阵,包括分类预测。testckfold
不使用CategoricalPredictors
的属性C2
当C2
是一个训练分类模型。如果C2
是一个训练有素的模型与分类预测,指定X2CategoricalPredictors, C2.CategoricalPredictors
。
例子:“X2CategoricalPredictors”、“所有”
数据类型:单
|双
|逻辑
|字符
|字符串
一会
- - - - - -类名类名称,指定为逗号分隔组成的“类名”
和分类、字符或字符串数组,逻辑或数值向量,或单元阵列的特征向量。必须设置一会
使用的数据类型Y
。
如果一会
每个元素是一个字符数组,那么必须对应一个数组的行。
使用一会
:
指定的任何输入参数维度对应于类订单。例如,使用一会
指定的尺寸成本
。
选择一个子集的类进行测试。例如,假设所有不同的类名称的集合Y
是{' a ', ' b ', ' c '}
。训练和测试模型利用类的观察“一个”
和“c”
只是,指定“类名”,{' a ', ' c '}
。
默认是所有不同的类名称的集合Y
。
例子:“类名”,{' b ', ' g '}
数据类型:单
|双
|逻辑
|字符
|字符串
|细胞
|分类
成本
- - - - - -成本分类成本分类,指定为逗号分隔组成的“成本”
和一个方阵或结构数组。
厂商在为测试使用,testcholdout
。
这是一个最佳实践提供同样的成本矩阵用于训练分类模型。
默认值是成本(i, j) = 1
如果我~ = j
,成本(i, j) = 0
如果我=我
。
例子:“成本”,[0 1 2;1 0 2;2 2 0)
数据类型:双
|单
|结构体
LossFun
- - - - - -损失函数“classiferror”
(默认)|“binodeviance”
|“指数”
|“枢纽”
|函数处理损失函数,指定为逗号分隔组成的“LossFun”
和“classiferror”
,“binodeviance”
,“指数”
,“枢纽”
,或一个函数处理。
下表列出了可用的损失函数。
价值 | 损失函数 |
---|---|
“binodeviance” |
二项异常 |
“classiferror” |
分类错误 |
“指数” |
指数损失 |
“枢纽” |
铰链的损失 |
指定你自己的函数使用函数处理符号。
假设n =大小(X, 1)
样本大小还有吗K
独特的类。你的函数必须有签名lossvalue =
,地点:lossfun
(C、S、W、成本)
输出参数lossvalue
是一个标量。
lossfun
是你的函数的名称。
C
是一个n
——- - - - - -K
逻辑矩阵行指示相应的观测属于哪个阶级。列顺序对应于类秩序一会
名称-值对的论点。
构造C
通过设置C (p, q) = 1
如果观察p
是在课堂上问
,为每一行。设置所有其他元素的行p
来0
。
年代
是一个n
——- - - - - -K
数字矩阵分类的分数。列顺序对应于类秩序一会
名称-值对的论点。年代
是一个矩阵的分类的分数。
W
是一个n
1数字的观察向量权重。如果你通过W
,该软件可实现权重总和1
。
成本
是一个K
——- - - - - -K
数字矩阵的分类成本。例如,成本= 1 (K) -眼(K)
指定了一个成本0
正确的分类和成本1
误分类。
指定你的函数使用“LossFun”@
。lossfun
选项
- - - - - -并行计算选项[]
(默认)|结构数组返回statset
并行计算选项,指定为逗号分隔组成的“选项”
和一个结构数组返回statset
。这些选项需要并行计算工具箱。testckfold
使用“流”
,“UseParallel”
,“UseSubtreams”
字段。
这个表总结了可用的选项。
选项 | 描述 |
---|---|
“流” |
一个
在这种情况下,使用一个相同大小的单元阵列作为平行池。如果平行池没有打开,然后软件试图打开一个(取决于你的喜好),和 |
“UseParallel” |
如果你有并行计算工具箱,然后你可以调用一个池的工人通过设置“UseParallel”,真的 。 |
“UseSubstreams” |
设置为真正的 使用指定的流并行计算“流” 。默认是假 。例如,设置流 一种允许substreams,等“mlfg6331_64” 或“mrg32k3a” 。 |
例子:“选项”,statset (UseParallel,真的)
数据类型:结构体
之前
- - - - - -先验概率“经验”
(默认)|“统一”
|数值向量|结构先验概率为每个类,指定为逗号分隔组成的“之前”
和“经验”
,“统一”
,数值向量,或结构。
这个表总结了设置先验概率可用选项。
价值 | 描述 |
---|---|
“经验” |
类先验概率类相对频率Y 。 |
“统一” |
所有类先验概率等于1 /K,在那里K类的数量。 |
数值向量 | 每个元素都是一个类的先验概率。指定的顺序使用一会 名称-值对的论点。该软件可实现元素,这样他们总和1 。 |
结构 | 一个结构
|
例子:“之前”,结构(“类名”,{{“setosa”、“癣”}},“ClassProbs”, [1,2])
数据类型:字符
|字符串
|单
|双
|结构体
详细的
- - - - - -冗长的水平0
(默认)|1
|2
冗长的层面上,指定为逗号分隔组成的“详细”
和0
,1
,或2
。详细的
控制软件的诊断信息显示在每个交叉验证的命令窗口在训练。
这个表总结了冗长级别选项可用。
价值 | 描述 |
---|---|
0 |
软件不显示诊断信息。 |
1 |
软件显示诊断消息每次实现一个新的交叉验证运行。 |
2 |
软件显示诊断消息每次它实现了一个新的交叉验证运行,每次火车在一个特定的褶皱。 |
例子:“详细”,1
数据类型:双
|单
权重
- - - - - -观察权重(大小(X, 1), 1)
(默认)|数值向量注:
testckfold
对待训练分类模型作为模板。因此,它忽略了所有安装在模型中参数。也就是说,testckfold
旨在仅使用选项中指定的模型和预测数据。
重复交叉验证测试依赖于假设下的测试数据是渐近正态的零假设。高度不平衡成本矩阵(例如,成本
=(0 100;1 0)
)和高度离散响应分布(也就是说,大多数的观察是在一个小数量的类)可能违反了渐近正态性假设。厂商在为测试使用testcholdout
。
南
年代,<定义>
值、空特征向量(”
),空字符串(”“
),<失踪>
值显示缺失的数据值。
h
——假设检验结果1
|0
p
- - - - - -p价值p测试的价值,作为一个标量返回在区间[0,1]。p
的概率是随机检验统计量至少是极端观察到的检验统计量,考虑到零假设是正确的。
testckfold
估计p
使用检验统计量的分布,随测试的类型。测试统计数据的详细信息,请参见重复交叉验证测试。
重复交叉验证测试形式的测试数据比较两种分类模型的精度相结合的分类损失差异造成反复交叉验证图谱数据。重复交叉验证测试非常有用当样本容量是有限的。
进行一个R——- - - - - -K测试:
随机(分层除以类)预测数据集和真正的类标签K集,R次了。每个部门被称为运行和每一组被称为运行褶皱。每次运行包含完整,但分裂,数据集。
为运行r= 1到R,重复这些步骤k= 1到K:
储备褶皱k作为测试集,训练两种分类模型在剩余使用各自的预测数据集K- 1折。
预测类标签使用训练模型和各自的褶皱k预测数据集。
估计分类损失通过比较两组估计标签真正的标签。表示 时分类损失测试集是褶皱k在运行r的分类模型c。
计算两个模型的分类损失之间的区别:
的运行,有K每个分类模型分类损失。
结合步骤2的结果。为每一个r= 1到R:
估计within-fold平均值的差异和他们的平均:
估计的总体平均差异:
估计within-fold方差的差异:
估计的平均值within-fold差异:
估计的总体样本方差的差异:
计算检验统计量。这里描述金宝app假设所有支持测试,H0,估计差异是独立的和近似正态分布,意思是0和有限的,常见的标准偏差。然而,这些测试违反独立性假设,所以检验统计量分布近似。
重复交叉验证测试在配对测试的优点是,更可重复的结果[3]。缺点是它们需要很高的计算资源。
分类损失显示一个分类模型或一组预测的准确性标签。一般来说,对于一个固定成本矩阵,分类精度降低分类损失增加。
testckfold
返回分类损失(见e1
和e2
)在备择假设下(即无限制的分类损失)。在接下来的定义:
分类损失集中在第一个分类模型。第二个模型的分类损失是相似的。
n测试是测试集样本大小。
我(x)是指标函数。如果x是一个真实的语句呢我(x)= 1。否则,我(x)= 0。
是分类模型的预测类赋值1观察j。
yj是真正的类标签的观察j。
方法比较模型的例子包括:
比较简单的分类模型的精度和更复杂的模型,通过相同的预测数据。
比较两种不同的精度使用两组不同的预测模型。
执行各种类型的特征选择。例如,您可以比较模型的准确性训练使用一组预测的准确性一训练子集或不同的预测。你可以任意选择预测因素的集合,或使用一个特征选择技术如PCA或连续的特征选择(见主成分分析
和sequentialfs
)。
如果这两个语句是正确的,那么你可以省略提供Y
。
因此,testckfold
使用共同的响应变量的表。
执行cost-insensitive特征选择的方法之一是:
创建一个分类模型模板,描述第一个分类模型(C1
)。
创建一个分类模型模板,描述第二个分类模型(C2
)。
指定两个预测数据集。例如,指定X1
完整的预测集和X2
一组降低。
输入testckfold (C1, C2, X1, X2, Y,“另类”、“少”)
。如果testckfold
返回1
,然后有足够的证据表明,使用更少的分类模型预测性能优于模型,使用完整的预测集。
或者,您可以评估是否有显著区别这两个模型的精度。执行此评估,删除“替代”、“少”
规范在步骤4。testckfold
进行双向测试,h = 0
表示没有足够的证据显示在两个模型的准确性。
测试适合误分类率分类损失,但您可以指定其他损失函数(见LossFun
)。估计分类损失的关键假设是独立的和正态分布均值0和有限的常见的方差在双面的零假设。分类损失以外的误分类率可以违反这一假设。
高度离散的数据,不平衡类和高度不平衡矩阵可以违反常态假设分类损失成本差异。
使用testcholdout
:
有大量的样本测试集
实现变异McNemar检验法测试来比较两个分类模型的精度
厂商在为测试使用卡方或似然比检验。卡方检验使用quadprog
(优化工具箱),这就需要一种优化工具箱™许可证。
[1]Alpaydin,大肠“联合5 x 2 CV F测试比较监督分类学习算法。”神经计算8号,卷。11日,1999年,页1885 - 1992。
bouckaer [2]。>选择两个学习算法的基础上校准测试。”国际会议上机器学习,2003年,页51-58。
[3]Bouckaert R。和e·弗兰克。“评估意义的可复制性测试对比学习算法。”知识发现和数据挖掘的发展,8日亚太会议,2004年,页3 - 12。
[4]Dietterich, t .“近似统计测试来比较监督分类学习算法。”神经计算7号,卷。10日,1998年,页1895 - 1923。
[5]Hastie, T。,R。Tibshirani, and J. Friedman.统计学习的元素,第二版。纽约:施普林格,2008年。
并行运行,指定“选项”
名称-值参数在调用这个函数,设置“UseParallel”
选择结构领域真正的
使用statset
。
例如:“选项”,statset (UseParallel,真的)
关于并行计算的更多信息,请参阅MATLAB函数自动并行支持运行金宝app(并行计算工具箱)。
testcholdout
|templateECOC
|templateEnsemble
|templateDiscriminant
|templateTree
|templateSVM
|templateNaiveBayes
|templateKNN
다음MATLAB명령에해당하는링크를클릭했습니다。
명령을실행하려면MATLAB명령창에입력하십시오。웹브라우저는MATLAB명령을지원하지않습니다。
你也可以从下面的列表中选择一个网站:
选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。