比较使用新数据的两种分类模型的准确性
compareHoldout
统计评估两种分类模型的准确性。该函数首先将他们的预测标签与真实标签进行比较,然后检测误分类率之间的差异是否具有统计学意义。
您可以确定分类模型的准确性是否不同,或者一个模型是否比另一个模型表现更好。compareHoldout
可以进行几次<一个href="//www.tatmou.com/au/au/help/stats/classificationknn.compareholdout.html" class="intrnllnk">McNemar检验法检验一个>变异,包括渐近检验,精确条件检验,和中间
返回测试已训练分类模型的零假设的测试决策h
= compareHoldout (<一个href="//www.tatmou.com/au/help/stats/#d123e234886" class="intrnllnk">C1
,<一个href="//www.tatmou.com/au/help/stats/#d123e235085" class="intrnllnk">C2
,<一个href="//www.tatmou.com/au/help/stats/#d123e235107" class="intrnllnk">T1
,<一个href="//www.tatmou.com/au/help/stats/#d123e235159" class="intrnllnk">T2
,<一个href="//www.tatmou.com/au/help/stats/#mw_4ac6b8c1-5ac7-4de3-851d-2b0481d604aa" class="intrnllnk">ResponseVarName
)C1
而且C2
有相同的准确性预测真实的类别标签ResponseVarName
变量。另一种假设是,这些标签的准确性不相等。
第一个分类模型C1
中使用预测器数据T1
,以及第二种分类模型C2
中使用预测器数据T2
.的表T1
而且T2
必须包含相同的响应变量,但可以包含不同的预测器集。默认情况下,软件进行中间
h
=1
表示在5%显著性水平上拒绝原假设。h
=0
表示在5%的水平上不拒绝零假设。
以下是可以执行的测试示例:
通过传递相同的预测数据集(即:T1
=T2
).
比较使用两组可能不同的预测因子的两个可能不同的模型的准确性。
执行各种类型的<一个href="//www.tatmou.com/au/au/help/stats/feature-selection.html" class="a">特征选择一个>.例如,您可以将使用一组预测器训练的模型的准确性与使用子集或这些预测器的不同集训练的模型的准确性进行比较。您可以任意选择预测器集,或使用特征选择技术,如PCA或顺序特征选择(参见<一个href="//www.tatmou.com/au/au/help/stats/pca.html">主成分分析
而且<一个href="//www.tatmou.com/au/au/help/stats/sequentialfs.html">sequentialfs
).
返回测试已训练分类模型的零假设的测试决策h
= compareHoldout (<一个href="//www.tatmou.com/au/help/stats/#d123e234886" class="intrnllnk">C1
,<一个href="//www.tatmou.com/au/help/stats/#d123e235085" class="intrnllnk">C2
,<一个href="//www.tatmou.com/au/help/stats/#d123e235107" class="intrnllnk">T1
,<一个href="//www.tatmou.com/au/help/stats/#d123e235159" class="intrnllnk">T2
,<一个href="//www.tatmou.com/au/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)C1
而且C2
预测真正的类别标签是否具有相同的准确性Y
.另一种假设是,这些标签的准确性不相等。
第一个分类模型C1
使用预测数据T1
,以及第二种分类模型C2
使用预测数据T2
.默认情况下,软件进行中间
返回测试已训练分类模型的零假设的测试决策h
= compareHoldout (<一个href="//www.tatmou.com/au/help/stats/#d123e234886" class="intrnllnk">C1
,<一个href="//www.tatmou.com/au/help/stats/#d123e235085" class="intrnllnk">C2
,<一个href="//www.tatmou.com/au/help/stats/#shared-X1" class="intrnllnk">X1
,<一个href="//www.tatmou.com/au/help/stats/#shared-X2" class="intrnllnk">X2
,<一个href="//www.tatmou.com/au/help/stats/#bupt79s_sep_shared-Y" class="intrnllnk">Y
)C1
而且C2
预测真正的类别标签是否具有相同的准确性Y
.另一种假设是,这些标签的准确性不相等。
第一个分类模型C1
使用预测数据X1
,以及第二种分类模型C2
使用预测数据X2
.默认情况下,软件进行中间
除以前语法中的输入参数组合外,还使用一个或多个名称-值对参数指定选项。例如,您可以指定备选假设的类型,指定测试的类型,并提供成本矩阵。h
= compareHoldout (<年代p一个nclass="argument_placeholder">___年代p一个n>,<一个href="//www.tatmou.com/au/help/stats/#namevaluepairarguments" class="intrnllnk">名称,值
)
[<一个href="//www.tatmou.com/au/help/stats/#bupt79s_sep_shared-h" class="intrnllnk">
返回h
,<一个href="//www.tatmou.com/au/help/stats/#d123e236006" class="intrnllnk">p
,<一个href="//www.tatmou.com/au/help/stats/#d123e236044" class="intrnllnk">e1
,<一个href="//www.tatmou.com/au/help/stats/#d123e236099" class="intrnllnk">e2
= compareHoldout(<年代p一个nclass="argument_placeholder">___年代p一个n>)p
)及有关<一个href="//www.tatmou.com/au/au/help/stats/classificationknn.compareholdout.html" class="intrnllnk">分类损失一个>每组预测的类别标签(e1
而且e2
)使用前面语法中的任何输入参数。
compareHoldout
没有比较由线性分类模型或核分类模型组成的ECOC模型(即<一个href="//www.tatmou.com/au/au/help/stats/classificationlinear-class.html">ClassificationLinear
或<一个href="//www.tatmou.com/au/au/help/stats/classificationkernel.html">ClassificationKernel
模型对象)。比较ClassificationECOC
模型由线性或核分类模型组成,使用<一个href="//www.tatmou.com/au/au/help/stats/testcholdout.html">testcholdout
代替。
同样的,compareHoldout
不能比较<一个href="//www.tatmou.com/au/au/help/stats/classificationlinear-class.html">ClassificationLinear
或<一个href="//www.tatmou.com/au/au/help/stats/classificationkernel.html">ClassificationKernel
模型对象。要比较这些模型,请使用testcholdout
代替。
执行成本不敏感特征选择的一种方法是:
训练第一个分类模型(<一个href="//www.tatmou.com/au/help/stats/#d123e234886" class="intrnllnk">C1
)使用完整的预测器集。
训练第二分类模型(<一个href="//www.tatmou.com/au/help/stats/#d123e235085" class="intrnllnk">C2
)使用减少的预测集。
指定<一个href="//www.tatmou.com/au/help/stats/#shared-X1" class="intrnllnk">X1
作为完整的测试集预测数据和<一个href="//www.tatmou.com/au/help/stats/#shared-X2" class="intrnllnk">X2
作为减少的测试集预测数据。
输入compareHoldout (C1, C2, X1, X2, Y,“另类”、“少”)
.如果compareHoldout
返回1
,则有足够的证据表明,使用较少预测因子的分类模型比使用完整预测因子集的模型表现更好。
或者,您可以评估两个模型的准确性之间是否存在显著差异。要执行此评估,请删除“替代”、“少”
第4步中的规范。compareHoldout
进行双面测试,和H = 0
表明没有足够的证据表明两个模型的准确性存在差异。
成本敏感测试执行数值优化,这需要额外的计算资源。似然比检验通过在区间内寻找拉格朗日乘子的根来间接地进行数值优化。对于某些数据集,如果根靠近间隔的边界,则该方法可能会失败。因此,如果您拥有“优化工具箱”许可证,请考虑执行成本敏感的卡方检验。详情请参见<一个href="//www.tatmou.com/au/help/stats/#d123e235798" class="intrnllnk">成本
而且<一个href="//www.tatmou.com/au/au/help/stats/classificationknn.compareholdout.html" class="intrnllnk">降低成本的测试方案一个>.
要直接比较两组类别标签在预测一组真实类别标签时的准确性,请使用<一个href="//www.tatmou.com/au/au/help/stats/testcholdout.html">testcholdout
.
[1] Agresti, A。
[2]法格兰,m.w., S. Lydersen和P. Laake。“二元配对数据的McNemar检验:中-p和渐近优于精确条件。”
[3]兰卡斯特,H.O.《离散分布中的显著性检验》。
[4] McNemar, Q.《关于相关比例或百分比之间差异的抽样误差的注释》。
[5] Mosteller, F.《衡量药物主观反应的一些统计问题》。
testckfold
|<年代p一个n我te米年代cope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">testcholdout