回归学习者App - Matlab＆Simulink - Mathworks Australia的HyperParamet金宝apper优化 - Mathworks澳大利亚

回归学习程序中的超参数优化

选择特定类型的模型以培训，例如决策树或支持向量机（SVM），您可以通过选择不同的高级选项来调整模型。金宝app例如，您可以更改决策树的最小叶子大小或SVM的框约束。其中一些选项是模型的内部参数，或超级参数，可以强烈影响其性能。您可以在回归学习者应用程序中使用HyperParameter Optimization在回归中使用HyperParameter值的选择。对于给定的模型类型，该应用程序通过使用寻求最小化模型均方错误（MSE）的优化方案来尝试不同的Hyper参数值组合，并返回具有优化的超参数的模型。您可以使用生成的模型，因为您可以使用任何其他培训的模型。

笔记

由于超参数优化可能导致模型过度拟合，建议的方法是在将数据导入回归学习应用程序之前创建一个单独的测试集。在训练可优化模型后，您可以看到它在测试集上的表现。例如，请参见在回归学习程序中使用超参数优化训练回归模型．

要在回归学习者中执行HyperParameter优化，请按照下列步骤操作：

选择一个模型类型并决定要优化的超参数。看选择要优化的超参数．

笔记

线性回归模型不支持封路计优化。金宝app
(可选)指定优化的执行方式。有关更多信息，请参见优化选项．
训练你的模型。使用最小均方误差图跟踪优化结果。
检查你训练过的模型。看优化结果．

选择要优化的超参数

在回归学习者应用中，在模型类型部分回归的学习者选项卡，单击箭头以打开图库。该图库包括可优化的模型，您可以使用超参数优化对其进行培训。

选择一个可优化模型后，可以选择要优化的超参数。在模型类型部分中,选择高级>高级．应用程序会打开一个对话框，你可以在其中进行选择优化复选框为您想要优化的封面。在下面价值，为不希望优化或不可优化的超参数指定固定值。

该表描述了可以针对每种模型类型进行优化的超参数，以及每个超参数的搜索范围。它还包括额外的超参数，您可以为其指定固定值。

模型	Optimizable Hyperparameters	额外Hyperparameters	笔记
优化的树	最小叶大小—软件在范围内的对数-比例整数中搜索`[1,马克斯(2楼(n / 2)))`,在那里`N.`为观察次数。	代理决定分裂每个节点最大代理数	有关更多信息，请参见高级回归树选项．
Optimizable支持向量机	内核功能-软件搜索`高斯`那`线性`那`二次`,`立方体`．箱约束-软件在范围内的正数值中进行对数缩放搜索`[0.001,1000]`．内核比例-软件在范围内的正数值中进行对数缩放搜索`[0.001,1000]`．埃斯利昂-软件在范围内的正数值中进行对数缩放搜索`[0.001,100] * iqr（y）/1.349`,在那里`y`为响应变量。标准化数据—软件之间搜索`真正的`和`错误的`．		这箱约束可优化超参数组合箱约束模式和手动箱限制预先设定的支持向量机模型的高级选项。这内核比例可优化超参数组合内核扩展模式和手动内核规模预先设定的支持向量机模型的高级选项。你可以优化内核比例可优化超参数仅当内核功能值是`高斯`．除非您指定值内核比例通过清理优化复选框，应用程序使用手册的价值`1`默认情况下内核功能具有以外的价值`高斯`．这埃斯利昂可优化超参数组合epsilon模式和手动ε预先设定的支持向量机模型的高级选项。有关更多信息，请参见高级SVM选项．
Optimizable探地雷达	基本功能-软件搜索`零`那`常数`,`线性`．内核功能—软件搜索如下: `非统计性的二次二次` `各向同性的理性二次` `Nonisotropic平方指数` `各向同性的平方指数` `Nonisotropic Matern 5/2` `各向同性Matern 5/2` `Nonisotropic Matern 3/2` `各向同性Matern 3/2` `Nonisotropic指数` `各向同性指数` 内核比例- 软件在范围内的真实值中搜索`[0.001,1] * xmaxrange`,在那里`xmaxrange = max（max（x） - min（x））`和`X`是预测数据。 σ- 软件在范围内的真实值中搜索`[0.0001,最大值(0.001,10 性病(Y)))`,在那里`y`为响应变量。标准化*—软件之间搜索`真正的`和`错误的`．	信号标准偏差优化数值参数	这内核功能可优化超参数组合内核功能和使用各向同性核预设的高斯过程模型的高级选项。这内核比例可优化超参数组合内核模式和内核比例预设的高斯过程模型的高级选项。这σ可优化超参数组合σ模式和σ预设的高斯过程模型的高级选项。当你优化时内核比例对于各向同性核函数，优化的只是核尺度，而不是信号标准差。你可以指定a信号标准偏差值或使用其默认值。你不能优化内核比例非各向同性核函数。有关更多信息，请参见高级高斯过程回归选项．
可优化的合奏	整体方法-软件搜索`袋`和`LSBoost`．最小叶大小—软件在范围内的对数-比例整数中搜索`[1,马克斯(2楼(n / 2)))`,在那里`N.`为观察次数。许多学习者—软件在范围内的对数-比例整数中搜索`[10500]`．学习率-软件在范围内的对数比例的真实值中搜索`[0.001,1]`．样本预测数—软件在范围内的整数中进行搜索`[1，MAX（2，P）]`,在那里`P.`为预测变量的数量。		这`袋`价值整体方法可优化的hyperparameter指定a袋装树模型。同样，`LSBoost`整体方法指定一个值提高了树模型。这样本预测数可优化的HyperParameter在预设集合模型的高级选项中不可用。有关更多信息，请参见高级集合选项．
Optimizable神经网络	完全连接的层数-软件搜索`1`那`2`,`3.`完全连接层。该软件优化第一层尺寸那第二层尺寸,第三层的大小通过在整数中搜索，在范围内按对数缩放`[1300]`．激活-软件搜索`线性整流函数（Rectified Linear Unit）`那`双曲正切`那`没有一个`,`乙状结肠`．正则化强度(λ)-软件在范围内的对数比例的真实值中搜索`[1 e-5 / n, 1 e5 / n]`,在那里`N.`为观察次数。标准化—软件之间搜索`是的`和`没有`．	迭代限制	当软件优化全连接层的数量时，它也优化每一层的大小。您不能指定完全连接的层的数量并优化层的大小。类似地，你不能指定层的大小和优化层的数量。有关更多信息，请参见高级神经网络选项．

优化选项

默认情况下，回归学习者应用程序通过使用贝叶斯优化来执行HyperParameter调整。贝叶斯优化的目标和一般优化，是找到最小化目标函数的点。在应用程序中的HyperParameter调整的上下文中，一个点是一组高参数值，目标函数是丢失函数，或平均方形错误（MSE）。有关贝叶斯优化基础知识的更多信息，请参阅贝叶斯优化工作流程．

您可以指定如何执行超参数调优。例如，可以将优化方法改为网格搜索或限制训练时间。在回归的学习者选项卡,模型类型部分中,选择高级>优化选项．该应用程序打开一个对话框，您可以在其中选择优化选项。

该表描述了可用的优化选项及其默认值。

选项	描述
优化器	优化器的值是: `Bayesopt.`(默认)-使用贝叶斯优化。在内部，应用程序调用`Bayesopt.`功能。 `网格搜索`-使用网格搜索，每个维度的值的数量由网格划分数价值。该应用程序使用均匀抽样，不从网格中替换，以随机顺序搜索。 `随机搜索`- 在点中随机搜索，其中点数对应于迭代价值。
获取函数	当应用程序对超参数进行贝叶斯优化调优时，它使用获取函数确定下一组超参数值进行尝试。获取函数值为: `每秒预期改善加`(默认) `预期改善` `预计改善+` `预期每秒改善量` `低信心绑定` `改进的概率` 有关这些获取功能如何在贝叶斯优化上下文中工作的详细信息，请参见采集函数类型．
迭代	每次迭代都对应于应用程序尝试的超参数值的组合。当您使用贝叶斯优化或随机搜索时，请指定一个设置迭代次数的正整数。默认值为`30.`．使用网格搜索时，应用程序忽略迭代值并评估整个网格中的每个点的损失。您可以设置培训时限以过早停止优化过程。
培训时间限制	要设置培训时间限制，请选择此选项并设置最大训练时间，以秒为单位选择。默认情况下，应用程序没有训练时间限制。
最大训练时间，以秒为单位	将训练时间限制(以秒为单位)设置为正实数。默认值为`300`．运行时间可能会超过训练时间限制，因为这个限制不会中断迭代计算。
网格划分数	当您使用网格搜索时，设置一个正整数作为应用程序为每个数值超参数尝试的值的数量。对于分类超参数，应用程序忽略这个值。默认值为`10`．

最小均方误差图

在指定要优化的模型超参数和设置任何额外的优化选项(可选)之后，训练可优化的模型。在回归的学习者选项卡,培训部分中,点击火车．应用程序创建一个最小均方误差图它会随着优化运行而更新。

笔记

当你训练一个可优化的模型时，应用程序会禁用使用并行按钮。培训完成后，当您选择一个不可优化的模型时，应用程序使按钮再次可用。该按钮默认关闭。

最小均方误差(MSE)图显示了以下信息:

最小均方误差估计- 每个浅蓝色点对应于在考虑到到目前为止尝试的所有超参数值时所计算的优化过程所计算的最小MSE的估计，包括当前迭代。
估计是基于当前MSE目标模型的上置信区间，如上文所述BestPoint HyperParameters.描述。
如果你使用网格搜索或随机搜索来执行超参数优化，应用程序不会显示这些浅蓝色的点。
观察到的最小均方误差-每个深蓝色点对应的是到目前为止通过优化过程计算到的观测到的最小MSE。例如，在第三次迭代时，蓝色点对应于在第一次、第二次和第三次迭代中观测到的MSE的最小值。
BestPoint HyperParameters.- 红色方块表示对应于优化的超参数的迭代。您可以在绘图的右上方找到优化的Quand参数的值优化结果．
优化后的超参数并不总是提供观测到的最小MSE。当应用程序使用贝叶斯优化执行超参数调优时(见优化选项(简单介绍)，它选择最小化MSE目标模型的上置信区间的超参数值集合，而不是最小化MSE的集合。有关更多信息，请参阅“标准”、“min-visited-upper-confidence-interval”的名称-值对参数bestPoint．
最小误差hyperparameters—黄点表示对应于产生观测最小MSE的超参数的迭代。
有关更多信息，请参阅'标准'，'min观察'的名称-值对参数bestPoint．
如果使用网格搜索执行超参数优化，则BestPoint HyperParameters.和最小误差hyperparameters都是一样的。