特徴抽出

特徴抽出とは

特徴抽出は、入力特徴量を新しい出力特徴量にマッピングする一連の方法です。多くの特徴抽出法では、教師なし学習を使用して特徴量を抽出します。PCA や NNMF など一部の特徴抽出と異なり、この節で説明する方法では次元を増やす (および減らす) ことができます。内部的に、これらの方法では非線形目的関数の最適化を実行します。詳細については、スパースフィルターアルゴリズムまたは再構成 ICA アルゴリズムを参照してください。

特徴抽出の代表的な用途の 1 つは、イメージの特徴量を見つけることです。これらの特徴量を使用すると、分類精度を向上させることができます。たとえば、特徴抽出のワークフローを参照してください。もう 1 つの代表的な用途は、重ね合わせからの個別の信号の抽出で、しばしばブラインド信号源分離と呼ばれます。たとえば、混合信号の抽出を参照してください。

特徴抽出関数にはricaとsparsefiltの 2 つがあります。これらの関数には、これらの関数が作成する重建およびSparseFilteringオブジェクトが付けられて。。

スパースフィルターアルゴリズム

スパースフィルターアルゴリズムは、n行p列のデータ行列Xから始まります。各行は 1 つの観測値を、各列は 1 つの測定値を表します。列は特徴量または予測子とも呼ばれます。次に、初期のランダムなp行q列の重み行列Wまたは名前と値のペアInitialTransformWeightsで渡された重み行列を使用します。qは、sparsefiltに计算要求特徴量の个数。。

このアルゴリズムでは、標準的なメモリ制限 Broyden-Fletcher-Goldfarb-Shanno (LBFGS) 準ニュートンオプティマイザーを使用してスパースフィルターの目的関数を最小化しようとします。Nocedal および Wright[2]を参照してください。このオプティマイザーでは最大IterationLimit回の反復を実行します。反復は、ノルムがStepTolerance未満になったときに早く停止するか、現在の点における勾配のノルムがGradientToleranceとスカラー τ の積未満であると計算されたときに停止します。ここで

$τ = \max (1, \min (| f |, {‖ g_{0} ‖}_{\infty})) .$

| f |は目的关数ノルム， ${‖ g_{0} ‖}_{\infty}$ は初期勾配の無限大ノルムです。

目的関数では、各データ点について少数の非ゼロ特徴量を取得すると同時に、得られた各特徴量の重みをほぼ等しくしようとします。目的関数でどのようにこれらの目標を達成するかについては、Ngiam、Koh、Chen、Bhaskar および Ng[1]を参照してください。

多くの場合、5 から数百程度の比較的小さい値をIterationLimitに設定すると、適切な特徴量が得られます。オプティマイザーに計算を継続させると過学習になる可能性があり、抽出された特徴量が新しいデータに対して適切には汎化されなくなります。

SparseFilteringオブジェクトを構築した後で、转换メソッドをて入力を新しい出力量マッピングマッピングします。

スパースフィルターの目的関数

目的関数を計算するため、スパースフィルターアルゴリズムでは以下のステップを使用します。目的関数は、n行p列のデータ行列Xとオプティマイザーが変化させる重み行列Wに依存します。重み行列Wの次元はpxqであり,pは元特徴量の，，qは要求された特徴量の個数です。

n行q列の行列x*wを計算します。近似絶対値関数 $ϕ (u) = \sqrt{u^{2} + 10^{- 8}}$ をx*wの各要素に適用して行列Fを取得します。ϕ は、絶対値関数をほぼ正確に近似する滑らかな非負対称関数です。
近似 L²ノルムによってFの列を正規化します。つまり、正規化された行列 $\tilde{F} (i, j)$ を次によって定義します。

$\begin{matrix} ‖ F (j) ‖ = \sqrt{\sum_{i = 1}^{n} {(F (i, j))}^{2} + 10^{- 8}} \\ \tilde{F} (i, j) = F (i, j) / ‖ F (j) ‖ . \end{matrix}$
近似 L²ノルムによって $\tilde{F} (i, j)$ の行を正規化します。つまり、正規化された行列 $\hat{F} (i, j)$ を次によって定義します。

$\begin{matrix} ‖ \tilde{F} (i) ‖ = \sqrt{\sum_{j = 1}^{q} {(\tilde{F} (i, j))}^{2} + 10^{- 8}} \\ \hat{F} (i, j) = \tilde{F} (i, j) / ‖ \tilde{F} (i) ‖ . \end{matrix}$

行列 $\hat{F}$ は、X内の変換された特徴量の行列です。目的関数 h (以下を参照) を最小化する重みW(出力オブジェクトMdlのmdl.transformweightsプロパティに格納されます) がsparsefiltで求められると、関数转换で同じ変換ステップに従って新しいデータを出力特徴量に変換できます。
行列 $\hat{F} (i, j)$ 1ノルムノルム行列のすべての要素の合计合计（构筑により负）としてW) を計算します。

$h (W) = \sum_{j = 1}^{q} \sum_{i = 1}^{n} \hat{F} (i, j) .$
名前と値のペアLambdaを厳密に正の値に設定した場合、sparsefiltでは次の修正された目的関数を使用します。

$h (W) = \sum_{j = 1}^{q} \sum_{i = 1}^{n} \hat{F} (i, j) + λ \sum_{j = 1}^{q} w_{j}^{T} w_{j} .$

ここで、w_jは行列Wのj番目の、λはLambdaの値。项のは，重みWを小さくするです。Lambdaが正の場合にWの列をイメージとしてプロットすると、Lambdaがゼロ同じとして滑らに见えます。

再構成 ICA アルゴリズム

再構成独立成分分析 (RICA) アルゴリズムは、目的関数の最小化をベースとします。このアルゴリズムでは入力データを出力特徴量にマッピングします。

ICA のソースモデルは次のとおりです。各観測値 x は、以下に従ってランダムなベクトル s によって生成されます。

$x = μ + A s .$

xは長さpの列ベクトル。
μは、定数項を表す長さpの列ベクトル。
s は、互いが統計的に独立しているゼロ平均かつ単位分散の確率変数である要素をもつ、長さqの列ベクトル。
A は、サイズがp行q列の混同。

このモデルをricaで使用して、x の観測値から A を推定できます。混合信号の抽出を参照してください。

RICA アルゴリズムは、観測値 x_iから構成されるn行p列のデータ行列Xから始まります。

$X = [\begin{matrix} x_{1}^{T} \\ x_{2}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}] .$

各行は 1 つの観測値を、各列は 1 つの測定値を表します。列は特徴量または予測子とも呼ばれます。次に、初期のランダムなp行q列の重み行列Wまたは名前と値のペアInitialTransformWeightsで渡された重み行列を使用します。qは、ricaに计算要求特徴量の个数。。重み行列Wは、サイズがp行 1 列の列 w_iから構成されます。

$W = [\begin{matrix} w_{1} & w_{2} & \dots & w_{q} \end{matrix}] .$

このアルゴリズムでは、標準的なメモリ制限 Broyden-Fletcher-Goldfarb-Shanno (LBFGS) 準ニュートンオプティマイザーを使用して再構成 ICA の目的関数を最小化しようとします。Nocedal および Wright[2]を参照してください。このオプティマイザーでは最大IterationLimit回の反復を実行します。反復は、ノルムがStepTolerance未満になるか、現在の点における勾配のノルムがGradientToleranceとスカラー τ の積未満であると計算されると停止します。ここで

$τ = \max (1, \min (| f |, {‖ g_{0} ‖}_{\infty})) .$

| f |は目的关数ノルム， ${‖ g_{0} ‖}_{\infty}$ は初期勾配の無限大ノルムです。

目的関数では、g(XW) の要素の合計を最小化するほぼ正規直交の重み行列を取得しようとします。ここで、g は要素ごとにXWに适用（以下でしますますますますますです。目的でどのどのようにこれらののの目标ををを达成达成达成达成するするかかについてについてについてについてはははははは[3]を参照してください。

重建オブジェクトを構築した後で、转换メソッドをて入力を新しい出力量マッピングマッピングします。

再構成 ICA の目的関数

目的関数では、名前と値のペアContrastFcnを使用して指定したコントラスト関数が使用されます。コントラスト関数は、絶対値に似ている滑らかな凸関数です。既定のコントラスト関数は $g = \frac{1}{2} \log (Cosh (2 x))$ です。の可能コントラスト关数について，，ContrastFcnを参照してください。

n行p列のデータ行列Xとq个の特徴の场合名前と値ペアペアLambdaの値として正則化パラメーター λ を指定すると、p行q列の行列Wに対する目的関数は次のようになります。

$h = \frac{λ}{n} \sum_{i = 1}^{n} {‖ W W^{T} x_{i} - x_{i} ‖}_{2}^{2} + \frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1}^{q} σ_{j} g (w_{j}^{T} x_{i})$

σ_jは ±1 である既知の定数です。σ_j= +1の場合、目的関数 h を最小化すると、 $w_{j}^{T} x_{i}$ のヒストグラムはががピークにます（优性）。σ_j= –1の場合、目的関数 h を最小化すると、 $w_{j}^{T} x_{i}$ のヒストグラムは 0 の付近で平らになります (劣ガウス性)。σ_jの値を指定するには、ricaの名前とのペアNonGaussianityIndicatorを使用します。

λがの，目的关数关数たゼロの最になる可能可能性ががあります。，，ricaは 1 に正規化された W に対して h を最小化します。つまり、W の各列 w_jは、次によって列ベクトル v_jに対して定義されます。

$w_{j} = \frac{v_{j}}{\sqrt{v_{j}^{T} v_{j} + 10^{- 8}}} .$

ricav_jに対して最小化を実行します。生成される最小行列Wは,入力データXから出力特徴量XWへの変換を提供します。

参照

[1]Ngiam, Jiquan, Zhenghao Chen, Sonia A. Bhaskar, Pang W. Koh, and Andrew Y. Ng. “Sparse Filtering.” Advances in Neural Information Processing Systems. Vol. 24, 2011, pp. 1125–1133.https://papers.nips.cc/paper/4334-sparse-filtering.pdf.

[2] Nocedal，J。和S. J. Wright。数值优化，第二版。Springer系列《运营研究》，Springer Verlag，2006年。

[3] Le, Quoc V., Alexandre Karpenko, Jiquan Ngiam, and Andrew Y. Ng. “ICA with Reconstruction Cost for Efficient Overcomplete Feature Learning.” Advances in Neural Information Processing Systems. Vol. 24, 2011, pp. 1017–1025.https://papers.nips.cc/paper/4467-ica-with-reconstruction-cost-for-efficient-overcomplete-feature-learning.pdf.

参考

rica|sparsefilt|重建|SparseFiltering

特徴抽出

特徴抽出とは

スパース フィルター アルゴリズム

スパース フィルターの目的関数

再構成 ICA アルゴリズム

再構成 ICA の目的関数

参照

参考

関連するトピック

スパースフィルターアルゴリズム

スパースフィルターの目的関数