主要内容

模型建立与评估

特征选择、模型选择、超参数优化、交叉验证、残差诊断和绘图

在构建高质量的回归模型时,选择正确的特征(或预测器),调整超参数(模型参数不适合数据),并通过残差诊断评估模型假设是很重要的。

您可以通过在为超参数选择值之间进行迭代,并使用您的选择交叉验证模型来优化超参数。这个过程产生多个模型,其中最好的模型可以是最小化估计泛化误差的模型。例如,要调整支持向量机模型,选择一组框约束和核尺度,对每个值对交叉验证模型,然后比较它们的10倍交叉验证均方误差估计。

统计学和机器学习工具箱™中的某些非参数回归函数还通过贝叶斯优化、网格搜索或随机搜索提供自动超参数调优。然而,bayesopt,它是实现贝叶斯优化的主要函数,对于许多其他应用程序来说,它足够灵活。有关详细信息,请参见贝叶斯优化工作流程

要自动选择具有调优超参数的模型,请使用fitrauto.该函数尝试选择具有不同超参数值的回归模型类型,并返回预期性能良好的最终模型。使用fitrauto当您不确定哪种回归模型类型最适合您的数据时。

为了交互式地建立和评估回归模型,使用回归的学习者应用程序。

要解释一个回归模型,您可以使用石灰沙普利,plotPartialDependence

应用程序

回归的学习者 使用监督机器学习训练回归模型来预测数据

功能

全部展开

fsrftest 单变量特征排序的回归使用F测试
fsrnca 特征选择使用邻域成分分析回归
oobPermutedPredictorImportance 通过对回归树随机森林的包外预测器观察的排列来估计预测器的重要性
partialDependence 计算部分依赖
plotPartialDependence 创建部分依赖图(PDP)和个人条件期望图(ICE)
predictorImportance 对回归树预测因子重要性的估计
predictorImportance 回归集合中预测因子重要性的估计
relieff 使用ReliefF或RReliefF算法对预测因子的重要性进行排序
sequentialfs 使用自定义标准的顺序特征选择
stepwiselm 进行逐步回归
stepwiseglm 通过逐步回归建立广义线性回归模型
fitrauto 自动选择超参数优化的回归模型
bayesopt 使用贝叶斯优化选择最优的机器学习超参数
hyperparameters 用于优化拟合函数的变量描述
optimizableVariable 变量描述bayesopt或其他优化
crossval 使用交叉验证估计损失
cvpartition 分区数据以进行交叉验证
重新分区 重新分区数据以进行交叉验证
测试 交叉验证试验指标
培训 交叉验证的培训指标

本地可解释模型不可知解释(LIME)

石灰 局部可解释的模型不可知解释(LIME)
适合 拟合局部可解释模型不可知论解释(LIME)的简单模型
情节 局部可解释模型不可知解释(LIME)的图结果

沙普利值

沙普利 沙普利值
适合 计算查询点的Shapley值
情节 情节夏普利值

部分依赖

partialDependence 计算部分依赖
plotPartialDependence 创建部分依赖图(PDP)和个人条件期望图(ICE)
coefCI 线性回归模型系数估计的置信区间
coefTest 线性回归模型系数的线性假设检验
dwt 线性回归模型对象的德宾-沃森检验
情节 线性回归模型的散点图或添加变量图
plotAdded 增加了线性回归模型的变量图
plotAdjustedResponse 线性回归模型调整后的响应图
plotDiagnostics 绘制线性回归模型的观察诊断图
plotEffects 在线性回归模型中绘制预测因子的主要作用
plotInteraction 在线性回归模型中绘制两个预测因子的交互作用
plotResiduals 绘制线性回归模型的残差
plotSlice 通过拟合的线性回归曲面绘制切片图
coefCI 广义线性回归模型系数估计的置信区间
coefTest 广义线性回归模型系数的线性假设检验
devianceTest 广义线性回归模型的偏差分析
plotDiagnostics 绘制广义线性回归模型的观察诊断图
plotResiduals 绘制广义线性回归模型的残差
plotSlice 通过拟合的广义线性回归曲面绘制切片图
coefCI 非线性回归模型系数估计的置信区间
coefTest 非线性回归模型系数的线性假设检验
plotDiagnostics 绘图诊断非线性回归模型
plotResiduals 绘制非线性回归模型的残差
plotSlice 通过拟合的非线性回归曲面绘制切片图
linhyptest 线性假设检验

对象

全部展开

FeatureSelectionNCARegression 基于邻域成分分析(NCA)的回归特征选择
BayesianOptimization 贝叶斯优化结果

主题

回归学习者应用程序工作流

在回归学习者应用程序中训练回归模型

用于培训、比较和改进回归模型的工作流,包括自动化、手动和并行培训。

选择回归模型选项

在回归学习中,自动训练模型的选择,或比较和调整线性回归模型,回归树,支持向量机,高斯过程回归模型,回归树的集合,回归神经网络的选项。金宝app

使用回归学习软件进行特征选择和特征转换

使用图识别有用的预测器,手动选择特征包括,并在回归学习中使用PCA变换特征。

评估回归学习者的模型性能

比较模型统计和可视化结果。

特征选择

特征选择简介

了解特征选择算法并探索特征选择可用的功能。

连续的特征选择

本主题介绍了顺序特性选择,并提供了一个使用自定义标准和sequentialfs函数。

邻域成分分析(NCA)特征选择

邻域分量分析(NCA)是一种非参数的特征选择方法,其目标是最大限度地提高回归和分类算法的预测精度。

鲁棒特征选择使用NCA回归

在NCA中使用自定义鲁棒损失函数进行对离群值鲁棒的特征选择。

选择随机森林的预测器

使用交互测试算法选择随机森林的分裂预测器。

自动模型选择

基于贝叶斯优化的自动回归模型选择

使用fitrauto在给定训练预测器和响应数据的情况下,自动尝试选择具有不同超参数值的回归模型类型。

Hyperparameter优化

贝叶斯优化工作流程

使用fit函数或调用bayesopt直接。

贝叶斯优化的变量

为贝叶斯优化创建变量。

贝叶斯优化目标函数

为贝叶斯优化创建目标函数。

贝叶斯优化中的约束条件

为贝叶斯优化设置不同类型的约束。

优化增强回归集成

最小化回归集成的交叉验证损失。

贝叶斯优化绘图函数

可视化地监控贝叶斯优化。

贝叶斯优化输出函数

监控贝叶斯优化。

贝叶斯优化算法

了解贝叶斯优化的基本算法。

平行的贝叶斯优化

贝叶斯优化是如何并行工作的。

模型的解释

解释机器学习模型

用以下方法解释模型预测石灰沙普利,plotPartialDependence

机器学习模型的Shapley值

使用两种算法计算机器学习模型的Shapley值:kernelSHAP和对kernelSHAP的扩展。

交叉验证

使用并行计算实现交叉验证

使用并行计算加速交叉验证。

线性模型诊断

解释线性回归结果

显示和解释线性回归输出统计数据。

线性回归

拟合线性回归模型并检验结果。

具有交互作用的线性回归

建立并分析线性回归模型的交互作用,并解释结果。

输出和诊断统计的摘要

利用模型属性和对象函数对拟合模型进行评估。

f统计量和t统计量

在线性回归中F-statistic是方差分析(ANOVA)方法检验模型或模型中各成分的显著性的检验统计量。的t-statistic对于推断回归系数是有用的。

决定系数(R-Squared)

决定系数(r平方)表示响应变量的变化量的比例y由自变量来解释X在线性回归模型中。

标准误差和置信区间

估计的系数方差和协方差捕捉回归系数估计的精度。

残差

残差对于检测离群是有用的y值和检查线性回归假设关于回归模型中的误差项。

Durbin-Watson测试

Durbin-Watson检验评估时间序列数据的残差之间是否存在自相关。

库克的距离

库克距离对于识别异常值很有用X值(预测变量的观察值)。

帽子矩阵和杠杆

帽子矩阵提供了杠杆的度量。

Delete-1统计

删除-1协方差变化(CovRatio)确定对回归拟合有影响的观察结果。

广义线性模型诊断

广义线性模型

广义线性模型使用线性方法来描述预测项和响应变量之间潜在的非线性关系。

非线性模型诊断

非线性回归

参数非线性模型表示一个连续响应变量和一个或多个连续预测变量之间的关系。