fsulaplacian

ラプラシアンスコアを使用して教師なし学習の特徴量をランク付け

構文

idx = fsulaplacian(X)

idx = fsulaplacian(X,Name,Value)

[idx,scores] = fsulaplacian(___)

説明

idx= fsulaplacian(X)は、ラプラシアンスコアを使用してXの特徴量 (変数) をランク付けします。関数はidxを返します。これには特徴量の重要度順に並べ替えられた特徴量のインデックスが含まれます。idxを使用して、教師なし学習用の重要な特徴量を選択できます。

例

idx= fsulaplacian(X,Name,Value)では、1 つ以上の名前と値のペアの引数を使用して追加オプションを指定します。たとえば、'NumNeighbors',10を指定すると、10 個の最近傍を使用して類似度グラフを作成できます。

[idx,scores] = fsulaplacian(___)は、前の構文におけるいずれかの入力引数の組み合わせを使用して、特徴量スコアscoresも返します。大きなスコア値は、対応する特徴量が重要であることを示します。

例

すべて折りたたむ

重要度を基準とした特徴量のランク付け

ライブスクリプトを開く

標本データを読み込みます。

loadionosphere

重要度に基づいて特徴量をランク付けします。

[idx,scores] = fsulaplacian(X);

特徴量の重要度スコアの棒グラフを作成します。

bar(scores(idx)) xlabel('Feature rank') ylabel('Feature importance score')

Figure contains an axes object. The axes object contains an object of type bar.

上位 5 つの最も重要な特徴量を選択します。Xにおけるこれらの特徴量の列を求めます。

idx(1:5)

ans =1×515 13 17 21 19

Xの 15 列目が、最も重要な特徴量です。

指定された類似度行列を使用した特徴量のランク付け

ライブスクリプトを開く

フィッシャーのアヤメのデータセットから類似度行列を計算し、類似度行列を使用して特徴量をランク付けします。

フィッシャーのアヤメのデータセットを読み込みます。

loadfisheriris

既定のユークリッド距離計量で関数pdistとsquareformを使用して、measに含まれている観測値の各ペア間の距離を求めます。

D = pdist(meas); Z = squareform(D);

類似度行列を作成し、これが対称であることを確認します。

S = exp(-Z.^2); issymmetric(S)

ans =logical1

特徴量をランク付けします。

idx = fsulaplacian(meas,'Similarity',S)

idx =1×43 4 1 2

類似度行列Sを使用したランク付けは、'NumNeighbors'をsize(meas,1)として指定することによるランク付けと同じです。

idx2 = fsulaplacian(meas,'NumNeighbors',size(meas,1))

idx2 =1×43 4 1 2

入力引数

すべて折りたたむ

`X`—入力データ
数値行列

入力データ。n 行 p 列の数値行列を指定します。Xの行は観測値 (点) に、列は特徴量に対応します。

NaNはXの欠損データとして扱われ、最低 1 つのNaNを含むXの任意の行を無視します。

データ型:single|double

名前と値の引数

例:'NumNeighbors',10,'KernelScale','auto'は、最近傍の個数を 10 に、カーネルスケール係数を'auto'に指定します。

オプションのName,Value引数のコンマ区切りペアを指定します。Nameは引数名で、Valueは対応する値です。Nameは引用符で囲まなければなりません。Name1,Value1,...,NameN,ValueNのように、複数の名前と値のペアの引数を、任意の順番で指定できます。

`相似`—類似度行列
`[]`(空の行列)(既定値) |対称行列

類似度行列。'Similarity'と n 行 n 列の対称行列から構成されるコンマ区切りのペアとして指定します。n は観測値の個数です。類似度行列 (または隣接行列) は、データ点間の局所的な近傍関係をモデル化することで入力データを表します。類似度行列内の値は、類似度グラフ内で接続しているノード (データ点) 間のエッジ (または接続) を表します。詳細は、類似度行列を参照してください。

'Similarity'の値を指定する場合、別の名前と値のペアの引数を指定することはできません。'Similarity'の値を指定しない場合、別の名前と値のペアの引数によって指定されたオプションを使用して類似度行列の計算が行われます。

データ型:single|double

`Distance`—距離計量
文字ベクトル|string スカラー|関数ハンドル

距離計量。'Distance'と次の表で説明されている文字ベクトル、string スカラーまたは関数ハンドルから構成されるコンマ区切りのペアとして指定します。

値	説明
`'euclidean'`	ユークリッド距離 (既定)
`'seuclidean'`	標準化されたユークリッド距離。観測値間の各座標差は、`X`から計算された標準偏差の対応する要素で除算することによりスケーリングされます。名前と値のペアの引数`Scale`を使用して、異なるスケーリング係数を指定します。
`'mahalanobis'`	`X`の標本共分散を使用したマハラノビス距離、`C = cov(X,'omitrows')`。名前と値のペアの引数`Cov`を使用して、異なる共分散行列を指定します。
`'cityblock'`	市街地距離
`'minkowski'`	ミンコフスキー距離。既定の指数は 2 です。名前と値のペアの引数`P`を使用して、別の指数を指定します。`P`は正のスカラー値です。
`'chebychev'`	チェビシェフ距離 (最大座標差)
`的余弦`	1 から、ベクトルとして扱われる観測間の夾角の余弦を減算
`'correlation'`	1 から、観測値間の標本相関を減算 (値の系列として処理)
`'hamming'`	ハミング距離 (異なる座標の比率)
`'jaccard'`	1 からジャカード係数 (異なる非ゼロ座標の比率) を減算
`'spearman'`	1 から観測値間の標本スピアマン順位相関係数を減算 (値の系列として処理)
`@distfun`	カスタム距離関数のハンドル。距離関数の形式は次のようになります。 functionD2 = distfun(ZI,ZJ)% calculation of distance... ここで、 `ZI`は、単一の観測値が含まれている`1`行`n`列のベクトルです。 `ZJ`は、複数の観測値が含まれている`m2`行`n`列の行列です。`distfun`は、任意の個数の観測値が含まれている行列`ZJ`を受け入れなければなりません。 `D2`は`m2`行`1`列の距離のベクトルであり、`D2(k)`は観測値`ZI`と`ZJ(k,:)`の間の距離です。データがスパースでない場合、通常は関数ハンドルではなく組み込みの距離を使用する方が高速に距離を計算できます。

詳細は、距離計量を参照してください。

'seuclidean'、'minkowski'または'mahalanobis'距離計量を使用する場合、追加の名前と値のペアの引数'Scale'、'P'または'Cov'をそれぞれ指定して、距離計量を制御することができます。

例:'Distance','minkowski','P',3は、指数3のミンコフスキー距離計量を使用することを指定します。

`P`—ミンコフスキー距離計量の指数
`2`(既定値) |正のスカラー

ミンコフスキー距離計量の指数。'P'と正のスカラー値をコンマで区切って指定します。

この引数は、'Distance'が'minkowski'である場合のみ有効です。

例:'P',3

データ型:single|double

`Cov`—マハラノビス距離計量の共分散行列
`cov(X,'omitrows')`(既定値) |正定値行列

マハラノビス距離計量の共分散行列。'Cov'と正定値行列から構成されるコンマ区切りのペアとして指定します。

この引数は、'Distance'が'mahalanobis'である場合のみ有効です。

例:'Cov',eye(4)

データ型:single|double

`Scale`—標準化されたユークリッド距離計量のスケール係数
`性病(X, omitnan)`(既定値) |非負値の数値ベクトル

標準化されたユークリッド距離計量のスケール係数。'Scale'と非負値の数値ベクトルから構成されるコンマ区切りのペアとして指定します。

Xの各次元 (列) には対応するScaleの値があるので、Scaleの長さは p (Xの列数) です。fsulaplacianは、Xの各次元について、Scale内の対応する値を使用して、観測値の差を標準化します。

この引数は、'Distance'が'seuclidean'である場合のみ有効です。

データ型:single|double

`NumNeighbors`—最近傍の個数
`log(size(X,1))`(既定値) |正の整数

類似度グラフの作成に使用される最近傍の個数。'NumNeighbors'と正の整数で構成されるコンマ区切りのペアとして指定します。

例:'NumNeighbors',10

データ型:single|double

`KernelScale`—スケール係数
`1`(既定値) |`'auto'`|正のスカラー

カーネルのスケール係数。'KernelScale'と'auto'または正のスカラーで構成されるコンマ区切りのペアとして指定します。距離を類似度測定に変換するために、スケール係数が使用されます。詳細は、類似度グラフを参照してください。

'auto'オプションは、'euclidean'および'seuclidean'の距離計量でのみサポートされます。
'auto'を指定した場合、ヒューリスティック手法を使用して適切なスケール係数が選択されます。このヒューリスティック手法では副標本抽出を使用するので、呼び出すたびに推定値が変化する可能性があります。結果を再現するには、fsulaplacianを呼び出す前にrngを使用して乱数シードを設定します。

例:'KernelScale','auto'

出力引数

すべて折りたたむ

`idx`——特徴量の重要度順に並べ替えられた特徴量のインデックス
数値ベクトル

特徴量の重要度順に並べ替えられたXの特徴量のインデックス。数値ベクトルとして返されます。たとえば、idx(3)が5である場合、3 番目に重要な特徴量はXの 5 列目です。

`scores`— 特徴量スコア
数値ベクトル

特徴量スコア。数値ベクトルとして返されます。大きなscoresスコア値は、対応する特徴量が重要であることを示します。scores内の値の順序は、X内の特徴量と同じ順序です。

詳細

すべて折りたたむ

類似度グラフ

類似度グラフは、Xのデータ点間の局所的な近傍関係を無向グラフとしてモデル化します。グラフ内のノードはデータ点を表し、無向のエッジはデータ点間の接続を表します。

任意の 2 つのノード i および j 間のペアワイズ距離 Dist_i,jが正である (またはあるしきい値よりも大きい) 場合、類似度グラフはエッジ[2]を使用して 2 つのノードを接続します。2 つのノード間のエッジは、ペアワイズ類似度 S_i,jによって重み付けされます。ここで、指定されたカーネルスケール σ の値に対して $S_{i, j} = \exp (- {(\frac{D i s t_{i, j}}{σ})}^{2})$ です。

fsulaplacianは、最近傍法を使用して類似度グラフを作成します。関数は、最近傍であるX内の点を接続します。'NumNeighbors'を使用して、最近傍の個数を指定します。

類似度行列

類似度行列は、類似度グラフの行列表現です。n 行 n 列の行列 $S = {(S_{i, j})}_{i, j = 1, \dots, n}$ には、類似度グラフで接続しているノード間のペアワイズ類似度の値が含まれます。グラフの類似度行列は、隣接行列とも呼ばれます。

類似度グラフのエッジが無向であるため、類似度行列は対称です。S_i,j= 0の値は、類似度グラフのノード i と j が接続していないことを意味します。

次数行列

次数行列 D_gは、類似度行列S の行を合計することで得られる n 行 n 列の対角行列です。つまり、D_gの i 番目の対角要素は $D_{g} (i, i) = \sum_{j = 1}^{n} S_{i, j} .$ です。

ラプラシアン行列

類似度グラフを表す 1 つの方法であるラプラシアン行列は、次数行列D_gと類似度行列S の差として定義されます。

$L = D_{g} - S .$

アルゴリズム

すべて折りたたむ

ラプラシアンスコア

関数fsulaplacianは、最近傍の類似度グラフから取得したラプラシアンスコア[1]を使用して特徴量をランク付けします。

fsulaplacianは、次のようにscoresの値を計算します。

X内の各データ点に対して、最近傍法を使用して局所的な近傍を定義し、近傍内のすべての点 i および j のペアワイズ距離 $D i s t_{i, j}$ を求めます。
カーネル変換 $S_{i, j} = \exp (- {(\frac{D i s t_{i, j}}{σ})}^{2})$ を使用して距離を類似度行列S に変換します。ここで σ は、名前と値のペアの引数'KernelScale'によって指定されるカーネルのスケール係数です。
各特徴量をその平均を削除することでセンタリングします。

${\tilde{x}}_{r} = x_{r} - \frac{x_{r}^{T} D_{g} 1}{1^{T} D_{g} 1} 1,$

ここで x_rは r 番目の特徴量、D_gは次数行列であり、 $1^{T} = {[1, \dots, 1]}^{T}$ です。
各特徴量のスコア s_rを計算します。

$s_{r} = \frac{{\tilde{x}}_{r}^{T} S {\tilde{x}}_{r}}{{\tilde{x}}_{r}^{T} D_{g} {\tilde{x}}_{r}} .$

[1]がラプラシアンスコアを

$L_{r} = \frac{{\tilde{x}}_{r}^{T} L {\tilde{x}}_{r}}{{\tilde{x}}_{r}^{T} D_{g} {\tilde{x}}_{r}} = 1 - \frac{{\tilde{x}}_{r}^{T} S {\tilde{x}}_{r}}{{\tilde{x}}_{r}^{T} D_{g} {\tilde{x}}_{r}},$

のように定義していることに注意してください。ここで L は D_gと S の間の差として定義されているラプラシアン行列です。関数fsulaplacianは、scoresのスコア値にこの方程式の 2 つ目の項のみを使用するため、大きいスコア値が重要な予測子を示します。

ラプラシアンスコアを使用した特徴量の選択は、値

$\frac{\sum_{i, j} {(x_{i r} - x_{j r})}^{2} S_{i, j}}{V a r (x_{r})},$

の最小化と一致します。ここで、x_irは r 番目の特徴量の i 番目の観測値を表します。この値を最小化することは、アルゴリズムでは大きな分散をもつ特徴量が推奨されることを示します。また、アルゴリズムは、類似性グラフの 2 つのデータ点の間にエッジがある場合のみ、重要な特徴量の 2 つのデータ点が近いと仮定します。

参照

[1] He, X., D. Cai, and P. Niyogi. "Laplacian Score for Feature Selection." NIPS Proceedings. 2005.

[2]Von Luxburg, U. “A Tutorial on Spectral Clustering.” Statistics and Computing Journal. Vol.17, Number 4, 2007, pp. 395–416.

バージョン履歴

R2019b で導入

参考

fscmrmr|relieff|sequentialfs

トピック

特徴選択の紹介

fsulaplacian

構文

説明

例

重要度を基準とした特徴量のランク付け

指定された類似度行列を使用した特徴量のランク付け

入力引数

X—入力データ数値行列

名前と値の引数

相似—類似度行列[](空の行列)(既定値) |対称行列

Distance—距離計量文字ベクトル|string スカラー|関数ハンドル

P—ミンコフスキー距離計量の指数2(既定値) |正のスカラー

Cov—マハラノビス距離計量の共分散行列cov(X,'omitrows')(既定値) |正定値行列

Scale—標準化されたユークリッド距離計量のスケール係数性病(X, omitnan)(既定値) |非負値の数値ベクトル

NumNeighbors—最近傍の個数log(size(X,1))(既定値) |正の整数

KernelScale—スケール係数1(既定値) |'auto'|正のスカラー

出力引数

idx——特徴量の重要度順に並べ替えられた特徴量のインデックス数値ベクトル

scores— 特徴量スコア数値ベクトル

詳細

類似度グラフ

類似度行列

次数行列

ラプラシアン行列

アルゴリズム

ラプラシアン スコア

参照

バージョン履歴

参考

トピック

`X`—入力データ
数値行列

`相似`—類似度行列
`[]`(空の行列)(既定値) |対称行列

`Distance`—距離計量
文字ベクトル|string スカラー|関数ハンドル

`P`—ミンコフスキー距離計量の指数
`2`(既定値) |正のスカラー

`Cov`—マハラノビス距離計量の共分散行列
`cov(X,'omitrows')`(既定値) |正定値行列

`Scale`—標準化されたユークリッド距離計量のスケール係数
`性病(X, omitnan)`(既定値) |非負値の数値ベクトル

`NumNeighbors`—最近傍の個数
`log(size(X,1))`(既定値) |正の整数

`KernelScale`—スケール係数
`1`(既定値) |`'auto'`|正のスカラー

`idx`——特徴量の重要度順に並べ替えられた特徴量のインデックス
数値ベクトル

`scores`— 特徴量スコア
数値ベクトル

ラプラシアンスコア