ベイズ最适化解ワークワーク - Matlab＆S金宝appimulink - Mathworks日本

ベイズ最適化のワークフロー

ベイズ最适化とは

最も一般的な形式の最適化とは、“目的关关”とと呼ばれる実する点见つける最プロセスベイズを最适プロセスはは见つけるようなプロセスの前前ようプロセス前前前前前前前前前前前前前前前前前前前前前前前前前前前。评価评価使使てモデルモデルモデル习习をさせますますせせ。"獲得関数"の使用で、これによりアルゴリズムは次の評価点を決定します。獲得関数により、モデル化が十分ではない目的関数がある点における抽出と、まだ十分にはモデル化されていない領域の探索のバランスをとることができます。詳細は、ベイズ最适化のアルゴリズムを参照してください。

ベイズ最適化は、分類および回帰アルゴリズムの"ハイパーパラメーター"の最适化工ににててことから，统计和机器学习工具箱™の一般部なっていますパーパラメーターは，サポートベクターマシンのボックス制约やアンサンブルベクターのの率率とと同じく同じく同じく同じく同じく同じく，分析器または回帰关节の内部です。ベイズ最適化の特徴を参照してください。

通讯，分析器または回帰交差损失を小气しとをを意味ますとをを最意味しようとことを最意味しと损失を最最意味しとするを最最ししと损失を最を意味し

ベイズ最適化を実行する方法

ベイズ最适化はいくつかの方法で実行可能です。

FitCauto.およびfitrauto- 予测子および応答データを关联FitCauto.またはfitrautoに渡しに渡しのタイプ値最适最适ししパーののは。FitCauto.またはfitrautoを使用する場合は最適化の前に単一のモデルを指定する必要はありません。モデルの選択は最適化プロセスの一部として行われます。最適化により、交差検証損失が最小限に抑えられます。他の方法では単一のガウス過程回帰モデルが使用されますが、FitCauto.では複数のTreeBaggerモデル、fitrautoでは複数の回归モデルを使用してモデル化されます。FitCauto.についてはベイズ最適化、fitrautoについてはベイズ最適化を参照してください。
分享学習器アプリおよび回帰学習器アプリ — 機械学習アプリ内で最適化可能モデルを選択し、ベイズ最適化を使用してハイパーパラメーターの値を自動的に調整します。最適化では、選択した検証オプションに基づいてモデルの損失が最小化されます。この方法は、近似関数を使用する場合よりも調整オプションが少ないですが、ベイズ最適化をアプリ内で直接実行できます。分享学习器アプリアプリのハイパーパーパラメーターの最适最适と回帰学仪器アプリアプリののハイパーパラメーターの最适最适を参照してください。
近似関数 — 近似関数の多くでは、名前と値の引数OptimizeHyperparametersを含めることによりベイズ最適化が自動的に適用されます。最適化では交差検証損失は最小になります。このアプローチでは、bayesoptを使用する場合より調整オプションは少なくなりますが、より簡単にベイズ最適化を実行できます。近似関数を使用したベイズ最適化を参照してください。
bayesopt—bayesoptをアプローチではできがありますますんがありますも検证损失ををありますもませ検证をありありますあり検证がアプローチありますあり検证が最ありますますをが最最ます最最最最最最最目最最最ます最目最最最最目最最最最最最最目目最最最最最最最最最最最最目最目目目目目目目ありあり目あり最最最目目目目目あり目ありあり目目目目目ありありありあり目目ありありありありありあり目目目恐银Bayesoptを使用品を参照してください。

近似関数を使用したベイズ最適化

以下の手顺に従い，ベイズ最适化による交差検证応答の误差を最小化します。

名前と値の引数OptimizeHyperparameters经
- 分享近似関数:fitcdiscr.、fitcecoc、fitcensemble、fitcgam、fitckernel、Fitcknn.、FitClinear.、fitcnb.、fitcnet、fitcsvm.、fitctree
- 回帰近似関数:fitrensemble、fitrgam、Fitrgp.、Fitrkernel.、fitrlinear、Fitrnet.、fitrsvm、fitrtree.
最適化するハイパーパラメーターを決定し、名前と値の引数OptimizeHyperparametersで渡します。各近似関数について、一連のハイパーパラメーターから選択できます。各各近似关有关部で格とされるハイパーパーを参照するか、関数封闭率を使用するか，近似关数のリファレンスページを参照してください。
パラメーター名の cell 配列を渡すことができます。また、OptimizeHyperparametersの値として'auto'を設定して一般的な最適化対象ハイパーパラメーターを一揃い選択することも、'all'を設定して使用可能なパラメーターをすべて最適化することもできます。
アンサンブル近似関数fitcecoc、fitcensembleおよびfitrensembleの结合は，弱学仪のパラメーターも细胞配列OptimizeHyperparametersに含めます。
オプションとして、名前と値の引数HyperparameterOptimizationOptionsのオプション構造体を作成します。近似関数のハイパーパラメーター最適化オプションを参照してください。
適切な名前と値の引数を使用して近似関数を呼び出します。

例については、ベイズ最適化の使用による分類器の当てはめの最適化とブースティング回帰アンサンブル回帰の最適化を参照してください。また、すべての近似関数のリファレンスページにはベイズ最適化の例が含まれています。

`bayesopt`をを用ししたベイズ最最化

以下の手顺に，bayesoptを用したベイズ最適化を実行します。

変数を制备します。ベイズ最适型用词数を参照してください。
目的関数を作成します。ベイズベイズ适化物相关的关联を参照してください。必要に応じて制約も作成します。ベイズ最适化の制约を参照してください。目的关键词ににににのをを含める関数のパラメーター化を参照してください。
オプション、つまりBayseopt.のName,Valueペアを决定します。bayesoptにオプションを渡すことは必须必须ませがが，（解を改善しようとするするするは特に）渡すことががです。
bayesoptを呼び出します。
解を调べます。resumeを使用して最適化を再開するか、(通常はオプションを修正して) 最適化をやり直すことができます。

たとえばBayesoptを使用しし交差検证分类器のの化を参照してください。

ベイズ最適化の特徴

ベイズ最适化アルゴリズムは，次のようなタイプの问题に最适です。

特徴	詳細
低次元	ベイズ最適化は次元数が少ない場合 (通常は 10 以下) に最適に機能します。変数が数十個ある問題をベイズ最適化で解くことができる場合もありますが、約 50 以上の次元には推奨されません。
計算負荷が高い目的関数	ベイズ最適化は、評価に時間がかかる目的関数用に設計されています。相当な量のオーバーヘッド (通常は各反復について数秒) があります。
低精度	ベイズ最适化解は，结果结果が必ずしも非常にに确であると限制ません。目的关键词。`bayesopt`ソリューションから开始すること，精选がが上する可性がありあり。
大域解	ベイズ最適化は大域的な手法です。他の多くのアルゴリズムとは異なり、さまざまな初期点からアルゴリズムを開始しなくても大域解を求めることができます。
ハイパーパラメーター	ベイズベイズ最适は，别の关键"ハイパーパラメーター"の最適化に非常に適しています。ハイパーパラメーターは関数の動作を制御するパラメーターです。たとえば、関数`fitcsvm.`は SVM モデルをデータにあてはめます。これは、その`'rbf'KernelFunction`の`boxconstraint.`および`内塞尔`というハイパーパラメーターをもちます。ハイパーパラメーターに適用されるベイズ最適化の例については、Bayesoptを使用しし交差検证分类器のの化を参照してください。

近似关节数で使用可致

各各近似关有关部で格とされるハイパーパー

关节名称	适格なハイパーパラメーター
`fitcdiscr.`	`Delta` `伽玛` `差异`
`fitcecoc`	`编码` `'Learners','discriminant'`で使用可能な`fitcdiscr.`パラメーター `'学习者'，'内核'`で使用可能な`fitckernel`パラメーター `'Learners','knn'`で使用可能な`Fitcknn.`パラメーター `'Learners','linear'`で使用可能な`FitClinear.`パラメーター `'学习者'，'svm'`で使用可能な`fitcsvm.`パラメーター `'学习者'，'树'`で使用可能な`fitctree`パラメーター
`fitcensemble`	`Method` `numlarnicalningcycles.` `LearnRate` `'Learners','discriminant'`で使用可能な`fitcdiscr.`パラメーター `'Learners','knn'`で使用可能な`Fitcknn.`パラメーター `'学习者'，'树'`で使用可能な`fitctree`パラメーター
`fitcgam`	`InitialLearnRateForInteractions` `InitialLearnRateForPredictors` `Interactions` `MaxNumSplitsPerInteraction` `MaxNumSplitsPerPredictor` `numtreesperinteraction.` `numtreesperpredictor`
`fitckernel`	`学习者` `内塞尔` `Lambda` `NumExpansionDimensions`
`Fitcknn.`	`NumNeighbors` `Distance` `距离重量级` `指数` `标准化`
`FitClinear.`	`Lambda` `学习者` `Regularization`
`fitcnb.`	`分布Name.` `Width` `Kernel`
`fitcnet`	`激活` `Lambda` `DiallsBiasesinitializer` `LayerWeightsInitializer` `铺设` `标准化`
`fitcsvm.`	`boxconstraint.` `内塞尔` `KernelFunction` `PolynomialOrder` `标准化`
`fitctree`	`MinLeafSize` `MaxNumSplits` `SplitCriterion` `numvariablestosample.`
`fitrensemble`	`Method` `numlarnicalningcycles.` `LearnRate` `'学习者'，'树'`に適格な`fitrtree.`のパラメーター `MinLeafSize` `MaxNumSplits` `numvariablestosample.`
`fitrgam`	`InitialLearnRateForInteractions` `InitialLearnRateForPredictors` `Interactions` `MaxNumSplitsPerInteraction` `MaxNumSplitsPerPredictor` `numtreesperinteraction.` `numtreesperpredictor`
`Fitrgp.`	`西格玛` `基本功能` `KernelFunction` `内塞尔` `标准化`
`Fitrkernel.`	`学习者` `内塞尔` `Lambda` `NumExpansionDimensions` `Epsilon`
`fitrlinear`	`Lambda` `学习者` `Regularization`
`Fitrnet.`	`激活` `Lambda` `DiallsBiasesinitializer` `LayerWeightsInitializer` `铺设` `标准化`
`fitrsvm`	`boxconstraint.` `内塞尔` `Epsilon` `KernelFunction` `PolynomialOrder` `标准化`
`fitrtree.`	`MinLeafSize` `MaxNumSplits` `numvariablestosample.`

近似関数のハイパーパラメーター最適化オプション

近似関数を使用して最適化を行う場合、以下のオプションを名前と値の引数HyperparameterOptimizationOptions値は构造体として。

フィールド名	値	既定の設定
`Optimizer`	`'bayesopt'`— ベイズ最適化を使用。内部的には`bayesopt`が呼び出されます。 `'gridsearch'`— 次元ごとに`NumGridDivisions`の値があるグリッド探索を使用。 `'randomsearch'`—`MaxObjectiveEvaluations`個の点で無作為に探索。 `'gridsearch'`では， -`sortrows(Mdl.HyperparameterOptimizationResults)`コマンドを使用してグリッド順のテーブルを取得できます。	`'bayesopt'`
`AcquisitionFunctionName`	`'预期 - 每秒改善'` `'expected-improvement'` `'预期改善 - 加'` `'expected-improvement-per-second'` `“较低信任”` `'改善概率'` オブジェクト関数のランタイムによって最適化が異なるので、名前に`per-second`が含まれている獲得関数は、再現性がある結果を生成しません。名前に`plus`が含まれて获得关联数号，领域を过剰利用ししいる场ににますます。獲得関数のタイプを参照してください。	`'预期 - 每秒改善'`
`MaxObjectiveEvaluations`	目的関数評価の最大数。	`'bayesopt'`および`'randomsearch'`の場合は`30`、`'gridsearch'`の場合はグリッド全体
`最大限度`	制限時間。正の実数スカラーを指定します。制限時間の単位は、`tic`と`toc`によって測定される秒です。`最大限度`は関数評価を中断させないため、実行時間が`最大限度`を超える可能性があります。	`inf`
`NumGridDivisions`	`'gridsearch'`値は，各次元の値の，またはすべて次元に整されるが场ですですれるカテゴリカルの场です。。	`10`
`Showplots.`	プロットを表示するかどうかを示す論理値。`true`のの合，最良の観測された目的関数の値が反復回数に対してプロットされます。ベイズ最適化を使用する場合 (`Optimizer`が`'bayesopt'`），最良の推定された目もプロットされれます。最良の観测さた目れますおよびおよびののされたおよび値さはた的关键词値，反复表示の`BestSoFar (observed)`列および`BestSoFar (estim.)`列の値にそれぞれ対応しています。これらの値は、`Mdl.HyperparameterOptimizationResults`のプロパティ`ObjectiveminimumTrace.`および`EstimatedObjectiveMinimumTrace`で確認できます。問題にベイズ最適化の最適化パラメーターが 1 つまたは 2 つある場合、`Showplots.`はパラメーターに対する目的关数のモデルもプロットします。	`true`
`SaveIntermediateResults`	`Optimizer`が`'bayesopt'`である场合に结果を保存するかどうかを示す论理値。`true`のの合，`'BayesoptResults'`という名前のワークスペース変数が反復ごとに上書きされます。この変数は`BayesianOptimization`オブジェクトです。	`false`
`Verbose`	コマンドラインに次を表示します。 `0`— 反復表示なし `1`— 反復表示あり `2`— 追加情報付きで反復表示あり详细については，`bayesopt`の名前と値の引数`Verbose`およびベイズ最適化の使用による分類器の当てはめの最適化の例を参照してください。	`1`
`UseParallel`	ベイズ最適化を並列実行するかどうかを示す論理値。並列実行には Parallel Computing Toolbox™ が必要です。並列でのタイミングに再現性がないため、並列ベイズ最適化で再現性のある結果が生成されるとは限りません。詳細については、并列ベイズ最适化を参照してください。	`false`
`重新开始`	反复ごとに交差検证を再分割するかどうかを示す论理値。`false`のの合，オプティマイザーは単一の分割を最適化に使用します。分割ノイズが考慮されるので、通常は`true`に設定すると最も確実な結果が得られます。ただし、`true`で良好な結果を得るには、2 倍以上の関数評価が必要になります。	`false`
以下の3つのオプションは1つだけ使使使でき。
`CVPartition.`	`cvpartition`によって作成される`cvpartition`オブジェクト	交差交差検证フィールドがが指定されていないない`'Kfold',5`
`Holdout`	ホールドアウトの比率を表す範囲`（0,1）`のスカラー
`kfold.`	1 より大きい整数

参考

bayesopt|BayesianOptimization