混合ガウスモデルによるデータのクラスタリング方法

多くの場合,データのクラスタリングには混合ガウスモデル(GMM)が使用されます。GMMを使用して”ハード”クラスタリングまたは”ソフト”クラスタリングをクエリデータに対して実行できます。

“ハード”クラスタリングを実行するために,GMMは与えられたデータにおいて,成分の事後確率が最大になる多変量正規成分にクエリデータ点を割り当てます。つまり,近似させたGMMが与えられると,集群は事後確率が最大になる成分にクエリデータを割り当てます。ハードクラスタリングはデータ点を1つのクラスターだけに割り当てます。GMMをデータにあてはめる方法,あてはめたモデルを使用するクラスタリングの方法,および成分の事後確率を推定する方法の例については,ハードクラスタリングの使用による混合ガウスデータのクラスタリングを参照してください。

さらに,GMMを使用してより柔軟なクラスタリングをデータに対して実行できます。これは”ソフト”(または“ファジー”)クラスタリングと呼ばれます。ソフトクラスタリング手法では,各クラスターについてスコアをデータ点に割り当てます。スコアの値は,クラスターに対するデータ点の関連性の強さを示します。ハードクラスタリング手法とは対照的に,ソフトクラスタリング手法は1つのデータ点を複数のクラスターに割り当てることができるため柔軟です。GMMクラスタリングを行う場合,スコアは事後確率です。GMMを使用するソフトクラスタリングの例については,ソフトクラスタリングの使用による混合ガウスデータのクラスタリングを参照してください。

GMMによるクラスタリングは,サイズおよび相関の構造が異なる複数のクラスターに対応できます。そのため,特定の用途では,k——クラスタリングなどの手法よりもGMMによるクラスタリングの方がより適切な場合があります。多くのクラスタリング手法と同じように,GMMによるクラスタリングでは,モデルをあてはめる前にクラスター数を指定しなければなりません。クラスター数により,GMM内の成分数が決まります。

GMMの場合,次のベストプラクティスに従ってください。

さまざまな共分散オプションおよび初期条件を使用したGMMのあてはめ

この例では,GMMによるクラスタリングを実行するときに,共分散構造および初期条件に関するさまざまなオプションを指定する効果を確認します。

フィッシャーのアヤメのデータセットを読み込みます。がく片の測定値をクラスタリングすることを考え,がく片の測定値を使用してデータを2次元で可視化します。

负载fisheriris；X =量(:,1:2);(氮、磷)= (X)大小;情节(X (: 1) X (:, 2),“。”，“MarkerSize”15);标题(Fisher' s Iris数据集）;包含(“花萼长度(厘米)”）;ylabel (萼片宽(cm)的）;

GMMの成分数kにより,部分母集団またはクラスターの数が決まります。この図では,適切なガウス成分の数が2、3またはそれ以上であるかどうかを判別することが困難です。kが大きくなると,GMMの複雑さが増大します。

提高(3);k = 3;% GMM组件数量选择= statset (“麦克斯特”, 1000);

σ= {“对角线”，“全部”};协方差矩阵类型的选项nSigma =元素个数(σ);SharedCovariance ={真,假};相同或非相同协方差矩阵的指标SCtext = {“真正的”，“假”};nSC =元素个数(SharedCovariance);

d = 500;%网格长度x1 = linspace(min(X(:，1))-2, max(X(:，1))+2, d);x2 = linspace(min(X(:，2))-2, max(X(:，2))+2, d);[x1grid, x2grid] = meshgrid (x1, x2);X0 = [x1grid(:) x2grid(:)];

阈值=√chi2inv (0.99, 2));数= 1;为我= 1:nSigma为j = 1: cross (X,k, n)“CovarianceType”σ{我},.．.“SharedCovariance”, SharedCovariance {j},“选项”、选择);%安装GMMclusterX =集群(gmfit X);%集群指数mahalDist =泰姬陵(gmfit, X0);%从每个网格点到每个GMM分量的距离%在每个GMM组件上画椭球，并显示聚类结果。次要情节(2,2,数);h1 = gscatter (X (: 1), X (:, 2), clusterX);持有在为m = 1:k idx = mahalDist(:，m)<=threshold;颜色= h1(m).颜色*0.75 - 0.5*(h1(m))。颜色- 1);h2 =情节(X0 (idx, 1), X0 (idx, 2),“。”，“颜色”、颜色、“MarkerSize”1);uistack (h2,“底”）;结束情节(gmfit.mu (: 1) gmfit.mu (:, 2),“kx”，“线宽”2,“MarkerSize”10)标题(sprintf ('Sigma是%s\nSharedCovariance = %s'SCtextσ{我},{j}),“字形大小”8)传说(h1, {' 1 '，' 2 '，“3”})举行从Count = Count + 1;结束结束

initialCond1 = [(n-8, 1);[2;2;2;2);[3;3;3;3]];%第一次GMMinitialCond2 = randsample (1: k, n,真的);%第二次GMMinitialCond3 = randsample (1: k, n,真的);%第三届GMMinitialCond4 =“+”；%第四届GMMcluster0 = {initialCond1;initialCond2;initialCond3;initialCond4};

聚合=南(4,1);为j = 1:4 gmfit = fitgmdist(X,k，“CovarianceType”，“全部”，.．.“SharedCovariance”假的,“开始”, cluster0 {j},.．.“选项”、选择);clusterX =集群(gmfit X);%集群指数mahalDist =泰姬陵(gmfit, X0);%从每个网格点到每个GMM分量的距离%在每个GMM组件上画椭球，并显示聚类结果。次要情节(2,2,j);h1 = gscatter (X (: 1), X (:, 2), clusterX);%从每个网格点到每个GMM分量的距离持有在；nK =元素个数(独特(clusterX));为m = 1:nK idx = mahalDist(:，m)<=threshold;= h1(m).Color*0.75 + -0.5*(h1(m))。颜色- 1);h2 =情节(X0 (idx, 1), X0 (idx, 2),“。”，“颜色”、颜色、“MarkerSize”1);uistack (h2,“底”）;结束情节(gmfit.mu (: 1) gmfit.mu (:, 2),“kx”，“线宽”2,“MarkerSize”10)传说(h1, {' 1 '，' 2 '，“3”}）;持有从聚合(j) = gmfit.Converged;收敛指标结束

总和(聚合)

ans = 4

正則化のタイミング

EMアルゴリズムの反復では,あてはめた共分散行列が悪条件になり,尤度が無限大に発散する可能性があります。こうした問題は,次の条件が1つ以上存在する場合に発生する可能性があります。

この問題を克服するには,“RegularizationValue”名前と値のペアの引数を使用して小さい正の数値を指定します。fitgmdistはこの数値をすべての共分散行列の対角要素に加算するの,ですべての行列が正定値になることが保証されます。正則化を行うと,最尤度の値を削減できます。

モデルのあてはめの統計

ほとんどの用途では,成分数kと適切な共分散の構造Σは不明です。GMMを調整する方法の1つは,情報量基準を比較することです。一般的な情報量基準として,赤池情報量基準(AIC)とベイズ情報量基準(BIC)の2つがあります。

AICとBICはどちらも最適化した負の対数尤度を取り,モデル内のパラメーター数(モデルの複雑さ)に応じてペナルティを課します。ただし,BICではAICより厳しいペナルティを複雑さに対して課します。このため、AICは過適合の可能性のある,より複雑なモデルを選択する傾向があり,BICは適合不足の可能性のある,より単純なモデルを選択する傾向があります。モデルを評価するときに両方の基準を検討することをお勧めします。另类投资会议または BIC の値が小さいほど、より適切にあてはめることのできるモデルであることが示されます。また、用途に適したkおよび共分散行列の構造を必ず選択してください。fitgmdistは,あてはめたgmdistributionモデルオブジェクトのAICとBICを另类投资会议およびBICというプロパティに格納します。これらのプロパティには,ドット表記を使用してアクセスできます。適切なパラメーターを選択する方法を示す例については,混合ガウスモデルの調整を参照してください。