主要内容

Hyperparameter优化分类学习者应用

在你选择了一个特定类型的模型训练,例如决策树、支持向量机(SVM),您可以调整您的模型通过选择不同的高级选项。金宝app例如,你可以改变的最大数量将决策树或盒子SVM的约束。这些选项的一些模型的内部参数,或hyperparameters可以强烈影响其性能。代替手动选择这些选项,您可以使用hyperparameter优化分类中的学习者应用自动化hyperparameter值的选择。对于一个给定的模型类型,应用程序的不同组合hyperparameter值通过使用一个优化方案,旨在最小化分类误差模型,并返回一个与hyperparameters优化模型。您可以使用生成的模型像任何其他训练模型。

请注意

因为hyperparameter优化可以导致一个overfitted模型,推荐的方法是创建一个单独的测试集之前将您的数据导入到分类学习者应用。火车optimizable模型之后,您可以看到如何执行测试集。例如,明白了训练分类器在分类学习者使用Hyperparameter优化应用程序。

在分类学习者执行hyperparameter优化,遵循这些步骤:

  1. 选择一个类型和决定哪些hyperparameters优化模型。看到选择Hyperparameters优化。

    请注意

    Hyperparameter优化内核不支持逻辑回归或近似模型。金宝app

  2. (可选)指定优化是如何执行的。有关更多信息,请参见优化选项。

  3. 训练你的模型。使用最小分类误差图跟踪优化结果。

  4. 检查您的训练模型。看到优化结果。

选择Hyperparameters优化

在分类学习者应用模型部分的分类学习者选项卡中,单击箭头打开画廊。画廊包括optimizable模型,您可以使用hyperparameter列车优化。

选择optimizable模型之后,您可以选择哪些hyperparameters你想优化。在模型中总结选项卡,模型Hyperparameters部分中,选择优化复选框的hyperparameters你想优化。下值的固定值,指定hyperparameters你不想优化或者不是optimizable。

此表描述了hyperparameters可以为每种类型的优化模型和每个hyperparameter的搜索范围。它还包括额外的hyperparameters你可以指定固定的值。

模型 Optimizable Hyperparameters 额外Hyperparameters 笔记
Optimizable树

  • 最大数量的分裂——软件搜索范围的整数对数[1,马克斯(2 n - 1)],在那里n是观测的数量。

  • 划分的标准——软件搜索中基尼的多样性指数,两个规则,最大限度减少异常。

  • 代理决定分裂

  • 每个节点最大代理人

有关更多信息,请参见树模型Hyperparameter选项。
Optimizable判别

  • 判别类型——软件搜索中线性,二次,对角线性,斜二次。

  • 的判别类型optimizable hyperparameter结合预设模型类型(线性判别和二次判别)协方差结构先进的选项的预设模式。

有关更多信息,请参见判别模型Hyperparameter选项。
Optimizable朴素贝叶斯

  • 分布的名字——软件之间的搜索高斯和内核。

  • 内核类型——软件搜索中高斯,盒子,Epanechnikov,三角形。

  • 金宝app

  • 的高斯的价值分布的名字optimizable hyperparameter指定一个高斯朴素贝叶斯模型。类似地,内核分布的名字指定一个值内核朴素贝叶斯模型。

有关更多信息,请参见朴素贝叶斯模型Hyperparameter选项。
Optimizable支持向量机

  • 核函数——软件搜索中高斯,线性,二次,立方。

  • 箱约束水平——正值对数之间的软件搜索范围(0.001,1000)。

  • 内核规模——正值对数之间的软件搜索范围(0.001,1000)。

  • 多类方法——软件之间的搜索One-vs-One和One-vs-All。

  • 标准化数据——软件之间的搜索是的和没有。

  • 的内核规模optimizable hyperparameter结合了内核扩展模式和手动内核规模高级选项预设的SVM模型。

  • 你可以优化内核规模optimizable hyperparameter只有当核函数值是高斯。除非你指定一个值内核规模通过清理优化复选框,该应用程序使用手册的价值1默认情况下,当核函数除了有价值高斯。

有关更多信息,请参见支持向量机模型Hyperparameter选项。
Optimizable资讯

  • 数量的邻居——软件搜索范围的整数对数[1,马克斯(2轮(n / 2))),在那里n是观测的数量。

  • 距离度量——软件中搜索:

    • 欧几里得

    • 城市街区

    • 切比雪夫

    • 闵可夫斯基(立方)

    • Mahalanobis

    • 余弦

    • 相关

    • 斯皮尔曼

    • 汉明

    • Jaccard

  • 距离重量——软件搜索中平等的,逆,方逆。

  • 标准化数据——软件之间的搜索是的和没有。

有关更多信息,请参见然而,模型Hyperparameter选项。
Optimizable合奏

  • 整体方法——软件搜索中演算法,RUSBoost,LogitBoost,GentleBoost,袋。

  • 最大数量的分裂——软件搜索范围的整数对数[1,马克斯(2 n - 1)],在那里n是观测的数量。

  • 许多学习者——软件搜索范围的整数对数[10500]。

  • 学习速率——实际值对数之间的软件搜索范围(0.001,1)。

  • 样本数量的预测——软件搜索的整数范围[1,马克斯(2,p)],在那里p是预测变量的数量。

  • 学习者类型

  • 的演算法,LogitBoost,GentleBoost的值整体方法optimizable hyperparameter指定一个提高了树模型。类似地,RUSBoost整体方法指定一个值RUSBoosted树模型,袋整体方法指定一个值袋装的树木模型。

  • 的LogitBoost和GentleBoost只有二进制分类值是可用的。

  • 你可以优化样本数量的预测optimizable hyperparameter只有当整体方法值是袋。除非你指定一个值样本数量的预测通过清理优化复选框,这个应用程序使用的默认值选择所有当整体方法除了有价值袋。

有关更多信息,请参见整体模型Hyperparameter选项。
Optimizable神经网络

  • 完全连接层——软件搜索中1,2,3完全连接层。

  • 第一层的大小——软件搜索范围的整数对数[1300]。

  • 第二层的大小——软件搜索范围的整数对数[1300]。

  • 第三层的大小——软件搜索范围的整数对数[1300]。

  • 激活——软件搜索中线性整流函数（Rectified Linear Unit）,双曲正切,没有一个,乙状结肠。

  • 正则化强度(λ)——实际值对数之间的软件搜索范围[1 e-5 / n, 1 e5 / n],在那里n是观测的数量。

  • 标准化数据——软件之间的搜索是的和没有。

  • 迭代限制

有关更多信息,请参见神经网络模型Hyperparameter选项。

优化选项

默认情况下,分类学习者通过使用贝叶斯优化应用程序执行hyperparameter调优。贝叶斯优化的目标和优化一般来说,是要找到一个点,一个目标函数最小化。在hyperparameter调优在应用程序的上下文中,一个点是一组hyperparameter值,目标函数是损失函数,或分类错误。更多信息贝叶斯优化的基本知识,明白了贝叶斯优化工作流程。

您可以指定hyperparameter调优是如何执行的。例如,你可以改变网格的优化方法搜索或减少训练时间。在分类学习者选项卡,选项部分中,点击优化器。应用程序打开一个对话框中,您可以选择优化选项。

让你选择后,点击保存和应用。你的选择影响所有草案optimizable模型模型面板和将适用于新的optimizable创建的模型使用的画廊模型部分的分类学习者选项卡。

为单一optimizable模型指定优化选项,打开并编辑模型总结之前的培训模式。点击模型模型窗格。该模型总结选项卡包含一个可编辑的优化器部分。

此表描述了可用的优化选项和它们的默认值。

选项 描述
优化器

优化器的值是:

  • Bayesopt(默认),使用贝叶斯优化。在内部,应用程序调用bayesopt函数。

  • 网格搜索——使用网格搜索每个维度值的数量决定的数量的网格划分价值。应用程序在随机顺序搜索,使用统一的网格不重复抽样。

  • 随机搜索——搜索之间的随机点,点对应的数量迭代价值。
获取函数

贝叶斯优化hyperparameter调优应用程序执行时,它使用采集函数来确定下一组hyperparameter值来试一试。

收购函数值是:

  • 每秒加上预期的改进(默认)

  • 预期改善

  • 预计改善+

  • 预计改善每秒

  • 低信心绑定

  • 改进的概率

有关这些收购函数是如何工作的上下文中的贝叶斯优化,明白了获取函数类型。
迭代

每一次迭代的hyperparameter值对应于一个组合应用尝试。当你使用贝叶斯优化或随机搜索,指定一个正整数集迭代的数量。默认值是30.。

当你使用网格搜索应用程序忽略了迭代价值和评估损失在整个网格的每一个点。你可以设置一个培训时间限制阻止过早优化过程。
培训时间限制 设置一个培训时间限制,选择这个选项和设置最大的培训时间在秒选择。默认情况下,应用程序没有一个培训时间限制。
最大的培训时间在秒 设置培训时间限制在几秒钟内作为一个正实数。默认值是300年。运行时可以超过训练时间限制,因为这个限制不中断迭代评估。
数量的网格划分 当你使用网格搜索,设置一个正整数的数量值为每个数字hyperparameter应用尝试。应用分类hyperparameters忽略了这个值。默认值是10。

最小分类误差图

在指定哪种模式hyperparameters优化和设置任何额外的优化选项(可选),训练你optimizable模型。在分类学习者选项卡,火车部分中,点击火车都并选择选择火车。这个应用程序创建一个最小分类误差图它在优化运行时更新。

最小分类误差的情节optimizable SVM模型

最低分类错误情节显示以下信息:

  • 估计最小分类错误——每一个淡蓝色的点对应于估计的最小分类误差计算的优化过程在考虑所有套hyperparameter值过到目前为止,包括当前迭代。

    估计是基于置信区间上的当前分类错误的目标模型,如前所述Bestpoint hyperparameters描述。

    如果你使用网格搜索或执行hyperparameter随机搜索优化,应用不显示这些淡蓝色的点。

  • 观察到的最小分类错误——每一个深蓝色的点对应到目前为止观察到的最小分类误差计算的优化过程。例如,在第三次迭代中,深蓝色的点对应的最小分类错误的观察到在第一,第二,第三个迭代。

  • Bestpoint hyperparameters——红场表明对应于迭代优化的hyperparameters。你可以找到的值优化hyperparameters列在右上角的阴谋优化结果。

    优化hyperparameters并不总是提供观察到的最小分类错误。当应用程序执行使用贝叶斯优化(见hyperparameter调优优化选项简要介绍),它选择的hyperparameter值集最小化分类误差目标模型的上层置信区间,而不是一组最小化分类误差。有关更多信息,请参见“标准”、“min-visited-upper-confidence-interval”名称-值参数bestPoint。

  • 最小误差hyperparameters——黄点表明对应于迭代hyperparameters观察到的最低收益率分类错误。

    有关更多信息,请参见“标准”、“min-observed”名称-值参数bestPoint。

    如果你使用网格搜索执行hyperparameter优化Bestpoint hyperparameters和最小误差hyperparameters都是一样的。

缺少点情节对应南最小分类误差值。

优化结果

当应用程序完成hyperparameters优化模型,它返回一个模型训练优化hyperparameter值(Bestpoint hyperparameters)。模型指标,情节,显示和导出模型使用固定hyperparameter值对应于这种训练模式。

检查optimizable训练模型的优化结果,选择模型模型面板和查看模型总结选项卡。

摘要选项卡的optimizable SVM模型

该模型总结选项卡包括这些部分:

  • 培训结果——显示optimizable模型的性能。看到视图模型指标在总结选项卡和模型面板中。

  • 模型Hyperparameters——显示optimizable模型的类型和任何固定hyperparameter值列表

    • 优化Hyperparameters——优化hyperparameters的值列表

    • Hyperparameter搜索范围优化hyperparameters——显示了搜索范围

  • 优化器-显示了选择的优化选项

当你使用贝叶斯优化和执行hyperparameter优化生成的训练optimizable模型导出到工作空间结构,包括一个结构BayesianOptimization对象HyperParameterOptimizationResult字段。对象包含结果的优化执行应用程序。

当你产生MATLAB®代码从一个训练有素的模型中,生成的代码使用的固定和优化hyperparameter值模型训练的新数据。生成的代码不包括优化过程。有关如何执行的信息贝叶斯优化使用一个合适的函数时,看到的贝叶斯优化使用合适的函数。

相关的话题