主要内容

模型建立与评估

特征选择,特征工程,模型选择,超参数优化,交叉验证,剩余诊断和绘图

在构建高质量回归模型时,选择正确的特征(或预测因子)、调优超参数(模型参数不适合数据)以及通过剩余诊断评估模型假设是很重要的。

您可以通过在为超参数选择值之间迭代和使用您的选择交叉验证模型来优化超参数。这个过程会产生多个模型,其中最好的模型可能是最小化估计泛化误差的模型。例如,要调优SVM模型,请选择一组框约束和内核尺度,为每对值交叉验证模型,然后比较它们的10倍交叉验证的均方误差估计。

要在训练回归模型之前设计新特性,请使用genrfeatures

要交互式地构建和评估回归模型,请使用回归的学习者应用程序。

若要自动选择具有调优超参数的模型,请使用fitrauto.该函数尝试选择具有不同超参数值的回归模型类型,并返回预期性能良好的最终模型。使用fitrauto当你不确定哪种回归模型类型最适合你的数据时。

统计和机器学习工具箱™中的某些非参数回归函数通过贝叶斯优化、网格搜索或随机搜索提供自动超参数调优。bayesopt,实现贝叶斯优化的主要功能,对于许多其他应用程序来说也足够灵活。详情请参见贝叶斯优化流程

要解释回归模型,可以使用石灰沙普利,plotPartialDependence

应用程序

回归的学习者 使用监督机器学习训练回归模型来预测数据

功能

全部展开

fsrftest 用于回归的单变量特征排序F测试
fsrnca 使用邻域成分分析进行回归的特征选择
oobPermutedPredictorImportance 通过对随机森林的回归树的袋外预测器观测的排列估计预测器重要性
partialDependence 计算部分依赖关系
plotPartialDependence 创建部分依赖图(PDP)和个别条件期望图(ICE)
predictorImportance 回归树预测因子重要性的估计
predictorImportance 回归集合预测因子重要性的估计
relieff 使用ReliefF或RReliefF算法对预测因子的重要性进行排序
sequentialfs 使用自定义标准的顺序特征选择
stepwiselm 执行逐步回归
stepwiseglm 通过逐步回归建立广义线性回归模型
genrfeatures 为回归执行自动化的特征工程
描述 描述生成的特性
变换 使用生成的特征转换新数据
fitrauto 自动选择超参数优化的回归模型
bayesopt 使用贝叶斯优化选择最优的机器学习超参数
hyperparameters 优化拟合函数的变量描述
optimizableVariable 变量描述bayesopt或其他优化器
crossval 使用交叉验证估计损失
cvpartition 为交叉验证划分数据
重新分区 重新划分数据以进行交叉验证
测验 交叉验证的测试指标
培训 交叉验证的训练指标

局部可解释模型不可知解释(LIME)

石灰 局部可解释模型不可知解释(LIME)
适合 局部可解释模型不可知解释(LIME)拟合简单模型
情节 局部可解释模型不可知解释(LIME)的图结果

沙普利值

沙普利 沙普利值
适合 计算查询点的Shapley值
情节 Plot Shapley价值观

部分依赖

partialDependence 计算部分依赖关系
plotPartialDependence 创建部分依赖图(PDP)和个别条件期望图(ICE)
coefCI 线性回归模型系数估计的置信区间
coefTest 线性回归模型系数的线性假设检验
dwt 以线性回归模型为对象的Durbin-Watson检验
情节 线性回归模型的散点图或加变量图
plotAdded 增加了线性回归模型的变量图
plotAdjustedResponse 线性回归模型调整后的响应图
plotDiagnostics 线性回归模型的小区观测诊断
plotEffects 在线性回归模型中绘制预测因子的主要效应
plotInteraction 线性回归模型中两个预测因子的交互作用
plotResiduals 线性回归模型残差图
plotSlice 通过拟合的线性回归曲面绘制切片图
coefCI 广义线性回归模型系数估计的置信区间
coefTest 广义线性回归模型系数的线性假设检验
devianceTest 广义线性回归模型的偏差分析
plotDiagnostics 广义线性回归模型的图观测诊断
plotResiduals 广义线性回归模型残差图
plotSlice 通过拟合的广义线性回归曲面绘制切片图
coefCI 非线性回归模型系数估计的置信区间
coefTest 非线性回归模型系数的线性假设检验
plotDiagnostics 非线性回归模型的图诊断
plotResiduals 非线性回归模型的残差图
plotSlice 通过拟合的非线性回归曲面绘制切片图
linhyptest 线性假设检验

对象

全部展开

FeatureSelectionNCARegression 使用邻域成分分析(NCA)进行回归的特征选择
FeatureTransformer 生成的特征转换
BayesianOptimization 贝叶斯优化结果

主题

回归学习应用流程

在回归学习应用程序中训练回归模型

用于训练、比较和改进回归模型的工作流,包括自动、手动和并行训练。

选择回归模型选项

在回归学习器中,自动训练选择的模型,或比较和调整线性回归模型、回归树、支持向量机、高斯过程回归模型、回归树集合和回归神经网络的选项。金宝app

使用回归学习应用程序进行特征选择和特征转换

使用图表识别有用的预测因子,手动选择要包含的特征,并在回归学习者中使用PCA转换特征。

评估回归学习者的模型性能

比较模型统计数据并可视化结果。

特征选择

特征选择简介

了解特征选择算法,并探索可用于特征选择的功能。

顺序特征选择

本主题介绍了顺序特征选择,并提供了使用自定义标准和顺序选择特征的示例sequentialfs函数。

邻域成分分析(NCA)特征选择

邻域成分分析(NCA)是一种以最大化回归和分类算法预测精度为目标的特征选择的非参数方法。

使用NCA进行回归的鲁棒特征选择

在NCA中使用自定义鲁棒损失函数执行对异常值鲁棒的特征选择。

选择随机森林的预测器

利用交互测试算法选择随机森林的分裂预测因子。

工程特性

回归自动化特征工程

使用genrfeatures在训练回归模型之前设计新特征。在对新数据进行预测之前,对新数据集应用相同的特征转换。

自动模型选择

基于贝叶斯和ASHA优化的自动回归模型选择

使用fitrauto在给定训练预测器和响应数据的情况下,自动尝试具有不同超参数值的回归模型类型。

Hyperparameter优化

贝叶斯优化流程

使用拟合函数或调用来执行贝叶斯优化bayesopt直接。

贝叶斯优化的变量

为贝叶斯优化创建变量。

贝叶斯优化目标函数

创建贝叶斯优化的目标函数。

贝叶斯优化中的约束

为贝叶斯优化设置不同类型的约束。

优化一个增强的回归集合

最小化回归集合的交叉验证损失。

贝叶斯优化图函数

可视化地监视贝叶斯优化。

贝叶斯优化输出函数

监视贝叶斯优化。

贝叶斯优化算法

理解贝叶斯优化的底层算法。

并行贝叶斯优化

贝叶斯优化如何并行工作。

模型的解释

解释机器学习模型

解释模型预测石灰沙普利,plotPartialDependence

机器学习模型的Shapley值

使用两种算法计算机器学习模型的Shapley值:kernelSHAP和kernelSHAP的扩展。

交叉验证

使用并行计算实现交叉验证

使用并行计算加速交叉验证。

线性模型诊断

解释线性回归结果

显示和解释线性回归输出统计数据。

线性回归

拟合线性回归模型并检验结果。

线性回归与交互效应

构建并分析一个具有交互作用的线性回归模型,并解释结果。

输出和诊断统计摘要

利用模型属性和对象函数对拟合模型进行评估。

f统计量和t统计量

在线性回归中,F-statistic是方差分析(ANOVA)方法的检验统计量,用于检验模型或模型中组件的显著性。的t-statistic用于推断回归系数。

决定系数(r平方)

决定系数(r平方)表示响应变量中变化的比例y由自变量解释X在线性回归模型中。

系数、标准误差和置信区间

估计的系数方差和协方差捕获回归系数估计的精度。

残差

残差对检测离群很有用y值,并根据回归模型中的误差项检查线性回归假设。

Durbin-Watson测试

Durbin-Watson检验评估时间序列数据残差之间是否存在自相关。

库克的距离

库克距离是有用的识别异常值在X值(预测变量的观察结果)。

帽子矩阵和杠杆

帽子矩阵提供了一种衡量杠杆的方法。

Delete-1统计

删除-1协方差变化(CovRatio)识别在回归拟合中有影响的观测值。

广义线性模型诊断

广义线性模型

广义线性模型使用线性方法来描述预测项和响应变量之间潜在的非线性关系。

非线性模型诊断

非线性回归

参数非线性模型表示一个连续响应变量和一个或多个连续预测变量之间的关系。