主要内容

回归学习应用中的超参数优化

在您选择要训练的特定类型的模型(例如决策树或支持向量机)后，您可以通过选择不同的高级选项来优化您的模型。金宝app例如，您可以更改决策树的最小叶大小或SVM的框约束。其中一些选项是模型的内部参数或超参数，它们会强烈影响模型的性能。您可以在Regression Learner应用程序中使用超参数优化来自动选择超参数值，而不是手动选择这些选项。对于给定的模型类型，应用程序通过使用寻求最小化模型均方误差(MSE)的优化方案来尝试不同的超参数值组合，并返回具有优化超参数的模型。您可以像使用任何其他训练过的模型一样使用生成的模型。

请注意

因为超参数优化会导致模型过拟合，推荐的方法是在将数据导入Regression Learner应用程序之前创建一个单独的测试集。训练完可优化模型后，可以看到它在测试集上的表现。有关示例，请参见在回归学习App中使用超参数优化训练回归模型．

要在Regression Learner中执行超参数优化，请遵循以下步骤:

  1. 选择一个模型类型并决定要优化哪个超参数。看到选择要优化的超参数．

    请注意

    线性回归模型不支持超参数优化。金宝app

  2. (可选)指定如何执行优化。有关更多信息，请参见优化选项．

  3. 训练你的模型。使用最小MSE图跟踪优化结果。

  4. 检查你训练过的模型。看到优化结果．

选择要优化的超参数

在回归学习者应用程序中模型部份回归的学习者选项卡，单击箭头打开图库。图库包括可优化的模型，您可以使用超参数优化来训练这些模型。

选择可优化模型后，可以选择要优化的超参数。在模型中总结选项卡，在模型Hyperparameters部分中,选择优化选中要优化的超参数对应的复选框。下值，为不想优化或不可优化的超参数指定固定值。

该表描述了可以针对每种类型的模型进行优化的超参数以及每个超参数的搜索范围。它还包括可以为其指定固定值的额外超参数。

模型 Optimizable Hyperparameters 额外Hyperparameters 笔记
Optimizable树

  • 最小叶片尺寸—软件在该范围内按对数缩放的整数中进行搜索[1,马克斯(2楼(n / 2))),在那里n是观测的数量。

  • 代理决策分裂

  • 每个节点的最大代理数

有关更多信息，请参见回归树模型超参数选项．
Optimizable支持向量机

  • 核函数—软件搜索among高斯，线性，二次,立方．

  • 箱约束—软件在范围内对数缩放的正数值中搜索(0.001, 1000)．

  • 内核规模—软件在范围内对数缩放的正数值中搜索(0.001, 1000)．

  • ε—软件在范围内对数缩放的正数值中搜索[0.001,100] *差(Y) / 1.349,在那里Y是响应变量。

  • 标准化数据—软件在两者之间进行搜索是的而且没有．

  • 的箱约束可优化超参数组合盒子约束模式而且手动框约束预先设定的支持向量机模型的高级选项。

  • 的内核规模可优化超参数组合核尺度模式而且手工核秤预先设定的支持向量机模型的高级选项。

  • 你可以优化内核规模时才可优化的超参数核函数值是高斯．除非指定值为内核规模通过清除优化复选框，应用程序将使用手册的价值1默认情况下，核函数有其他价值吗高斯．

  • 的ε可优化超参数组合ε模式而且手动ε预先设定的支持向量机模型的高级选项。

有关更多信息，请参见SVM模型超参数选项．
Optimizable探地雷达

  • 基函数—软件搜索among零，常数,线性．

  • 核函数-软件搜索对象:

    • 非各向同性有理二次方程

    • 各向同性有理二次

    • 非各向同性的平方指数

    • 各向同性指数平方

    • 非各向同性母质5/2

    • 各向同性母体5/2

    • 非各向同性母质3/2

    • 各向同性母质3/2

    • Nonisotropic指数

    • 各向同性指数

  • 内核规模—软件在范围内的实值中搜索(0.001, 1) * XMaxRange,在那里XMaxRange = max(max(X) - min(X))而且X是预测器数据。

  • σ—软件在范围内的实值中搜索[0.0001,最大值(0.001,10 *性病(Y))),在那里Y是响应变量。

  • 标准化数据—软件在两者之间进行搜索是的而且没有．

  • 信号标准差

  • 优化数值参数

  • 的核函数可优化超参数组合核函数而且使用各向同性核预设高斯过程模型的高级选项。

  • 的内核规模可优化超参数组合内核模式而且内核规模预设高斯过程模型的高级选项。

  • 的σ可优化超参数组合σ模式而且σ预设高斯过程模型的高级选项。

  • 当你优化内核规模对于各向同性核函数，只有核尺度优化，信号标准差不优化。你可以指定a信号标准差取值或使用默认值。

    你不能优化内核规模非各向同性核函数。

有关更多信息，请参见高斯过程回归模型超参数选项．
Optimizable合奏

  • 整体方法—软件搜索among袋而且LSBoost．

  • 最小叶片尺寸—软件在该范围内按对数缩放的整数中进行搜索[1,马克斯(2楼(n / 2))),在那里n是观测的数量。

  • 学习人数—软件在该范围内按对数缩放的整数中进行搜索[10500]．

  • 学习速率—软件搜索范围内对数缩放的实值(0.001, 1)．

  • 样本预测因子的数量—软件在该范围内的整数中进行搜索[1,马克斯(2,p)],在那里p是预测变量的数量。

  • 的袋的值整体方法可优化超参数指定袋装的树木模型。类似地,LSBoost整体方法值指定提高了树模型。

  • 的样本预测因子的数量可优化的超参数在预设集成模型的超参数选项中不可用。

有关更多信息，请参见集成模型超参数选项．
可优化的神经网络

  • 全连接层数—软件搜索among1，2,3.全连接层。

  • 第一层尺寸—软件在该范围内按对数缩放的整数中进行搜索[1300]．

  • 第二层尺寸—软件在该范围内按对数缩放的整数中进行搜索[1300]．

  • 第三层尺寸—软件在该范围内按对数缩放的整数中进行搜索[1300]．

  • 激活—软件搜索among线性整流函数（Rectified Linear Unit），双曲正切，没有一个,乙状结肠．

  • 正则化强度(Lambda)—软件搜索范围内对数缩放的实值[1 e-5 / n, 1 e5 / n],在那里n是观测的数量。

  • 标准化数据—软件在两者之间进行搜索是的而且没有．

  • 迭代限制

有关更多信息，请参见神经网络模型超参数选项．

优化选项

默认情况下，回归学习者应用程序通过使用贝叶斯优化执行超参数调优。贝叶斯优化的目标，以及一般的优化，是找到一个使目标函数最小化的点。在应用程序的超参数调优上下文中，一个点是一组超参数值，目标函数是损失函数，或均方误差(MSE)。有关贝叶斯优化基础知识的更多信息，请参见贝叶斯优化流程．

您可以指定如何执行超参数调优。例如，您可以将优化方法更改为网格搜索或限制训练时间。在回归的学习者选项卡，在选项部分中,点击优化器．应用程序打开一个对话框，你可以在其中选择优化选项。

做出选择后，单击保存并应用．中的所有可优化模型草稿都会受到您的选择影响模型窗格中创建的图库，并将应用于新的可优化模型模型部份回归的学习者选项卡。

若要为单个可优化模型指定优化选项，请在训练模型之前打开并编辑模型摘要。中的模型模型窗格。该模型总结TAB包含一个可编辑器优化器部分。

该表描述了可用的优化选项及其默认值。

选项 描述
优化器

优化器值为:

  • Bayesopt(默认)-使用贝叶斯优化。在内部，应用程序调用bayesopt函数。

  • 网格搜索-使用网格搜索，每个维度的值的数量由网格划分个数价值。该应用程序以随机顺序进行搜索，使用统一的抽样，而不从网格中进行替换。

  • 随机搜索-在点之间随机搜索，其中点的数量对应于迭代价值。
获取函数

当应用程序对超参数调优执行贝叶斯优化时，它使用采集函数来确定下一组要尝试的超参数值。

采集函数值为:

  • 每秒钟的预期改善(默认)

  • 预期改善

  • 预期的改善加上

  • 每秒预期改善

  • 下置信界

  • 改进概率

有关这些获取函数如何在贝叶斯优化上下文中工作的详细信息，请参见采集函数类型．
迭代

每次迭代都对应于应用程序尝试的超参数值的组合。当您使用贝叶斯优化或随机搜索时，请指定一个正整数来设置迭代次数。默认值为30.．

当你使用网格搜索时，应用程序会忽略迭代在整个网格的每个点上对损失进行评估。您可以设置训练时间限制来过早地停止优化过程。
培训时限 若要设置培训时间限制，请选择此选项并设置以秒为单位的最大训练时间选择。默认情况下，该应用程序没有训练时间限制。
以秒为单位的最大训练时间 将训练时间限制(以秒为单位)设置为正实数。默认值为300．运行时间可以超过训练时间限制，因为这个限制不会中断迭代计算。
网格划分个数 当你使用网格搜索时，设置一个正整数作为应用程序为每个数字超参数尝试的值的数量。应用程序忽略类别超参数的这个值。默认值为10．

最小MSE图

在指定要优化的模型超参数并设置任何其他优化选项(可选)之后，训练可优化的模型。在回归的学习者选项卡，在火车部分中,点击火车都并选择选择火车．应用程序创建一个最小MSE图它在优化运行时进行更新。

可优化集成模型的最小MSE图

最小均方误差(MSE)图显示以下信息:

  • 估计最小MSE-每个浅蓝色点对应于优化过程在考虑到目前为止尝试的所有超参数值集(包括当前迭代)时计算的最小MSE的估估值。

    如上所述，该估计是基于当前MSE目标模型的上置信区间Bestpoint hyperparameters描述。

    如果您使用网格搜索或随机搜索来执行超参数优化，应用程序不会显示这些浅蓝色点。

  • 观测到的最小MSE-每个深蓝色点对应到目前为止通过优化过程计算的观测到的最小MSE。例如，在第三次迭代中，蓝点对应于在第一次、第二次和第三次迭代中观察到的MSE的最小值。

  • Bestpoint hyperparameters—红色方块表示优化后的超参数对应的迭代。您可以在图的右上方找到优化超参数的值优化结果．

    优化后的超参数并不总是提供观测到的最小均方误差。当应用程序通过使用贝叶斯优化执行超参数调优(参见优化选项(简单介绍)，它选择使MSE目标模型的上置信区间最小的超参数值集，而不是使MSE最小化的超参数值集。有关更多信息，请参见“标准”、“min-visited-upper-confidence-interval”的名称-值参数bestPoint．

  • 最小误差超参数-黄色点表示对应于产生观测到的最小MSE的超参数的迭代。

    有关更多信息，请参见“标准”、“min-observed”的名称-值参数bestPoint．

    如果使用网格搜索执行超参数优化，则Bestpoint hyperparameters和最小误差超参数都是一样的。

情节中的缺失点对应于南最小MSE值。

优化结果

当应用程序完成调优模型超参数时，它返回一个用优化的超参数值训练的模型(Bestpoint hyperparameters)．模型度量、显示的图形和导出的模型对应于具有固定超参数值的训练模型。

中选择模型，以检查经过训练的可优化模型的优化结果模型窗格并查看模型总结选项卡。

可优化集成模型的“摘要”选项卡

的总结TAB包含以下部分:

  • 培训结果-显示可优化模型的性能。看到在摘要选项卡和模型窗格中查看模型统计信息．

  • 模型Hyperparameters—显示可优化模型的类型，并列出任何固定的超参数值

    • 优化Hyperparameters—显示优化后的超参数值

    • 超参数搜索范围—显示优化后超参数的搜索范围

  • 优化器—显示所选的优化器选项

当您使用贝叶斯优化执行超参数调优并将经过训练的可优化模型作为结构导出到工作空间时，该结构包括BayesianOptimization对象中的HyperParameterOptimizationResult字段。对象包含在应用程序中执行的优化结果。

当你生成MATLAB时®代码来自一个经过训练的可优化模型，生成的代码使用模型的固定和优化的超参数值在新数据上进行训练。生成的代码不包括优化过程。有关使用拟合函数时如何执行贝叶斯优化的信息，请参见使用拟合函数的贝叶斯优化．

相关的话题