模型的建立与评估

特征选择,模式选择,超参数优化,交叉验证,预测性能评估和分类精度对比测试

当建立一个高质量,预测分类模型,它选择正确的特征(或预测)和调整超参数(模型参数未估计)是很重要的。

到一个特定的模型的调超参数中,选择超参数值和交叉验证使用那些值模型。例如,用于调谐SVM模型,选择一组的箱约束和内核鳞,然后交叉验证的每对的值的模型。某些统计和机器学习工具箱™分类功能通过贝叶斯优化,网格搜索,或随机搜索提供自动超参数调整。然而,主要功能用于实现贝叶斯优化,bayesopt,足够灵活,可用于其他应用程序。看到贝叶斯优化工作流程

特征选择和超参数调整可以产生多个模型。你可以比较ķ-重叠误分类率、接收机工作特性(ROC)曲线或模型之间的混淆矩阵。或者,进行统计测试,检测一个分类模型是否显著优于另一个分类模型。

要自动选择与调整超参数,使用模型fitcauto。该函数试图选择与不同的超参数值分类模型类型和返回,预计将在新数据表现良好的最终模型。用fitcauto当你不确定哪个分类类型最适合您的数据。

要构建和交互评估分类模型,使用分类学习者应用程序。

应用

分类学习者 训练模型来分类数据使用监督机器学习

职能

全部展开

fscchi2 使用卡方检验进行单变量特征排序分类
fscmrmr 利用最小冗余最大相关(MRMR)算法对特征进行排序进行分类
fscnca 使用分类邻里成分分析的特征选择
oobPermutedPredictorImportance 通过对随机森林分类树的袋外预测值的排列估计预测值的重要性
predictorImportance 预测因子对分类树重要性的估计
predictorImportance 预测因子在决策树分类集成中的重要性估计
sequentialfs 使用自定义标准的顺序特征选择
relieff 使用ReliefF或RReliefF算法对预测因子的重要性进行排序
fitcauto 采用优化的超参数自动选择分类模型
bayesopt 选择使用贝叶斯优化最佳机器学习的超参数
hyperparameters 用于优化拟合函数的变量描述
optimizableVariable 变量描述bayesopt或其他优化
crossval 采用交叉验证估计损失
cvpartition 创建数据的交叉验证分区
重新分区 为交叉验证重新划分数据
测试 对于交叉验证测试指标
训练 交叉验证的培训指标
confusionchart 为分类问题创建混乱矩阵图
confusionmat 对于分类问题计算混淆矩阵
perfcurve 用于分类器输出的接收机工作特性(ROC)曲线或其他性能曲线
testcholdout 比较两种分类模型的预测精度
testckfold 通过反复的交叉验证的两种分类模型的精度比较

对象

全部展开

FeatureSelectionNCAClassification 特征选择用于使用邻里成分分析分类(NCA)
BayesianOptimization 贝叶斯优化结果
cvpartition 用于交叉验证的数据分区

话题

分类学习者应用

在分类学习App中训练分类模型

培训、比较和改进分类模型的工作流程,包括自动化、手工和并行培训。

评估分类器性能的分类学习

比较模型精度得分,通过绘制类预测可视化结果,并在混乱矩阵中检查每个类的性能。

特征选择和特征变换使用分类学习应用

使用地块识别有用的预测,手动选择功能,包括和变换分类学习者使用PCA功能。

特征选择

简介特征选择

了解特征选择算法和探索可供特征选择的功能。

连续的特征选择

本主题引入了顺序特征选择和提供了选择功能依次使用自定义标准和示例sequentialfs功能。

邻域成分分析(NCA)特征选择

邻域成分分析(NCA)是一种非参数的特征选择方法,其目标是最大化回归和分类算法的预测精度。

调整正则化参数来检测使用NCA分类的特征

这个例子显示了如何调整在调整参数fscnca使用交叉验证。

正规化判别分析分类

在不损害模型的预测能力去除预测做一个更强大和更简单的模型。

选择特征来对高维数据进行分类

这个例子说明了如何选择分级高维数据的功能。

自动模型选择

自动分类选择与优化贝叶斯

fitcauto在给定训练预测器和响应数据的情况下,自动尝试选择具有不同超参数值的分类模型类型。

Hyperparameter优化

贝叶斯优化工作流程

使用拟合函数或通过调用来执行贝叶斯优化bayesopt直接。

贝叶斯优化的变量

创建贝叶斯优化变量。

贝叶斯优化目标函数

建立贝叶斯优化的目标函数。

贝叶斯优化中的约束

设置不同类型的贝叶斯优化约束的。

优化交叉验证SVM分类使用bayesopt

尽量减少使用贝叶斯优化交叉验证的损失。

优化SVM分类适合使用贝叶斯优化

将交叉验证的损失最小化OptimizeParameters名称 - 值对在拟合函数。

贝叶斯优化图函数

直观地监控贝叶斯优化。

贝叶斯优化输出函数

监控贝叶斯优化。

贝叶斯优化算法

了解贝叶斯优化的底层算法。

并行优化贝叶斯

贝叶斯优化是如何并行工作的。

交叉验证

使用并行计算实现交叉验证

使用并行计算加快交叉验证。

分类性能评价

性能曲线

使用接收器工作特性曲线,检查分类算法在特定测试数据集上的性能。