cvshrink

線形判別の正則化の交差検証

構文

err = cvshrink(obj) [err,gamma] = cvshrink(obj) [err,gamma,delta] = cvshrink(obj) [err,gamma,delta,numpred] = cvshrink(obj) [err,...] = cvshrink(obj,Name,Value)

説明

err= cvshrink (obj)は正則化パラメーター Gamma の異なる値で交差検証された分類誤差の値を含むベクトルを返します。

[err,gamma] = cvshrink(obj)も Gamma 値のベクトルを返します。

[err,gamma,δ] = cvshrink(obj)も Delta 値のベクトルを返します。

[err,gamma,δ,numpred] = cvshrink(obj)は、パラメーター Gamma および Delta の各設定に対する非ゼロの予測子の数を含むベクトルを返します。

[err,...] = cvshrink(obj,Name,Value)は、追加のオプションを使用して交差検証を行います。このオプションはName,Valueのペアの引数で指定されたものです。

入力引数

obj

fitcdiscrを使用して作成された判別分析分類器。

名前と値の引数

オプションのName,Value引数のコンマ区切りペアを指定します。Nameは引数名で、Valueは対応する値です。Nameは引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueNのように、複数の名前と値のペアの引数を、任意の順番で指定できます。

`δ`	スカラー`δ`—`cvshrink`は、この`δ`の値と`gamma`のすべての値を正則化に使用します。行ベクトル`δ`— 各`i`および`j`に対して、`cvshrink`は`δ(j)`と`gamma(i)`を正則化に使用します。行列`δ`—`δ`の行数は`gamma`に含まれる要素の数と等しくなければなりません。各`i`および`j`に対して、`cvshrink`は`δ(i,j)`と`gamma(i)`を正則化に使用します。既定値:`0`
`gamma`	交差検証に使用する Gamma 値のベクトル。既定値:`0:0.1:1`
`NumDelta`	交差検証に使用する Delta 区間の数。`cvshrink`は、すべての Gamma の値について`NumDelta + 1`個の Delta の値を使用して判別式の交差検証を行います。Delta の値は、ゼロから Delta の最大値までの間で均等な間隔になります。Delta の最大値では、すべての予測子がこの値の Gamma について排除されます。`δ`を設定した場合、`cvshrink`は`NumDelta`を無視します。既定値:`0`
`NumGamma`	交差検証に対する Gamma 区間の個数。`cvshrink`は`NumGamma+ 1`個の Gamma の値を使用して判別式を交差検証します。Gamma の値は`MinGamma`から`1`までの間で均等な間隔になります。`gamma`を設定した場合、`cvshrink`は`NumGamma`を無視します。既定値:`10`
`verbose`	詳細/簡易レベル。`0`から`2`までの整数です。値が大きいほど進捗メッセージの数が増えます。既定値:`0`

出力引数

`err`	誤差を表す数値のベクトルまたは行列。`err`は誤分類誤差率で、すべての分割で誤分類されたデータの平均の比率を意味します。 `δ`がスカラー (既定の設定) の場合、`err(i)`は`gamma(i)`で正則化された`obj`に対する誤分類誤差率です。 `δ`がベクトルの場合、`err(i,j)`は`gamma(i)`と`δ(j)`で正則化された`obj`に対する誤分類誤差率です。 `δ`が行列の場合、`err(i,j)`は`gamma(i)`と`δ(i,j)`で正則化された`obj`に対する誤分類誤差率です。
`gamma`	正則化に使用する Gamma 値のベクトル。ガンマとデルタを参照してください。
`δ`	正則化に使用する Delta 値のベクトルまたは行列。ガンマとデルタを参照してください。 `δ`名前と値のペアにスカラーを指定した場合、出力`δ`は`gamma`と同じサイズで、入力スカラーと等しいエントリをもつ行ベクトルになります。 `δ`名前と値のペアに行ベクトルを指定した場合、出力`δ`はこの行ベクトルと同じ列数で`gamma`の要素の数と等しい行数の行列になります。出力`δ(i,j)`は入力`δ(j)`と等しくなります。 `δ`名前と値のペアに行列を指定した場合、出力`δ`はこの入力行列と同じになります。`δ`の行数は、`gamma`内の要素の数と等しくなければなりません。
`numpred`	さまざまな正則化を実行したときのモデル内の予測子の数を含む数値ベクトルまたは行列。`numpred`は`err`と同じサイズです。 `δ`がスカラー (既定値) の場合、`numpred(i)`は`gamma(i)`と`δ`で正則化された`obj`の予測子の数です。 `δ`がベクトルの場合、`numpred(i,j)`は`gamma(i)`と`δ(j)`で正則化された`obj`の予測子の数です。 `δ`が行列の場合、`numpred(i,j)`は`gamma(i)`と`δ(i,j)`で正則化された`obj`の予測子の数です。

例

すべて展開する

多くの予測子をもつデータの正則化

ライブスクリプトを開く

判別分析分類器を正則化し、モデル内の予測子の数と分類精度の間のトレードオフを表示します。

データovariancancerの線形判別分析分類器を作成します。結果のモデルを適度に小さく維持するためにオプションSaveMemoryとオプションFillCoeffsを設定します。

loadovariancancerobj = fitcdiscr(obs,grp,...'SaveMemory','on','FillCoeffs','off');

Gammaの 10 レベルとDeltaの 10 レベルを使用して、適切なパラメーターを検索します。この検索には時間がかかります。進行状況を表示するためにVerboseを1に設定します。

rng('default')% for reproducibility[err,gamma,delta,numpred] = cvshrink(obj,...'NumGamma',9,'NumDelta',9,'Verbose',1);

Done building cross-validated model. Processing Gamma step 1 out of 10. Processing Gamma step 2 out of 10. Processing Gamma step 3 out of 10. Processing Gamma step 4 out of 10. Processing Gamma step 5 out of 10. Processing Gamma step 6 out of 10. Processing Gamma step 7 out of 10. Processing Gamma step 8 out of 10. Processing Gamma step 9 out of 10. Processing Gamma step 10 out of 10.

予測子の数に対して分類誤差率をプロットします。

plot(err,numpred,'k.') xlabel('Error rate'); ylabel('Number of predictors');

Figure contains an axes object. The axes object contains 10 objects of type line.

詳細

すべて展開する

ガンマとデルタ

正則化とは、効果的な予測モデルを生み出す予測子の小さな集合を見つけ出す過程です。線形判別分析には、γ および δ の 2 つのパラメーターがあり、これらは次のように正則化を制御します。cvshrinkは適切なパラメーター値の選択を支援します。

Σがデータ X の共分散行列を表し、 $\hat{X}$ が中心データ (データ X からクラス別の平均を減算したデータ) であるとします。次のように定義します。

$D = diag ({\hat{X}}^{T} * \hat{X}) .$

正則化した共分散行列 $\tilde{Σ}$ は次のようになります。

$\tilde{Σ} = (1 - γ) Σ + γ D .$

γ ≥MinGammaである場合、 $\tilde{Σ}$ は常に正則です。

μ_kを k クラスの X の要素の平均ベクトルとし、μ₀をグローバル平均ベクトル(Xの行の平均)とします。CがデータXの相関行列, $\tilde{C}$ が正則化された相関行列であるとします。

$\tilde{C} = (1 - γ) C + γ I,$

ここで I が単位行列です。

データ点 x の正則化された判別分析分類器にある線形項は

${(x - μ_{0})}^{T} {\tilde{Σ}}^{- 1} (μ_{k} - μ_{0}) = [{(x - μ_{0})}^{T} D^{- 1 / 2}] [{\tilde{C}}^{- 1} D^{- 1 / 2} (μ_{k} - μ_{0})] .$

パラメーター δ は、大かっこ内の最後の項にしきい値としてこの式を入力します。ベクトル $[{\tilde{C}}^{- 1} D^{- 1 / 2} (μ_{k} - μ_{0})]$ の各成分は、大きさがしきい値 δ より小さい場合、ゼロが設定されます。そのため、クラス k に対して、コンポーネント j のしきい値を 0 に設定した場合、x のコンポーネント j は事後確率の評価には入りません。

DeltaPredictorプロパティは、このしきい値に関係するベクトルです。δ ≥DeltaPredictor(i)の場合、すべてのクラス k には次の値があります。

$| {\tilde{C}}^{- 1} D^{- 1 / 2} (μ_{k} - μ_{0}) | \leq δ .$

したがって、δ ≥DeltaPredictor(i)の場合、正則化された分類器は予測子iを使用しません。

ヒント

errおよびnumpred出力を調べて、交差検証誤差と予測子の数の間のトレードオフを確認します。満足のいく点が見つかったら、ドット表記を使用して対応するgammaおよびδプロパティをモデルに設定します。たとえば、(i,j)が満足のいく点の位置である場合は、次のように設定します。
```
obj.Gamma = gamma(i); obj.Delta = delta(i,j);
```

参考

ClassificationDiscriminant|fitcdiscr