Main Content

分类学习器分类器の评価评価

分类学習器で分類器に学習させた後で、精度のスコアに基づくモデルの比較、クラス予測のプロットによる結果の可視化、混同行列と ROC 曲線の使用による性能のチェックを行うことができます。

  • k分割交差を使用し,,k個の検証分割内の観測値を使用して精度のスコアが計算され、平均の交差検証誤差が報告されます。これらの検証分割内の観測値に対する予測も行われ、これらの予測に対して混同行列と ROC 曲線が計算されます。

    メモ

    既定の設定のままでデータをアプリにインポートすると、自動的に交差検証が使用されます。詳細については、検证方式の选択を参照しください。

  • ホールドアウト検証を使用した場合、検証分割内の観測値を使用して精度のスコアが計算され、これらの観測値に対して予測が行われます。これらの予測に基づいて混同行列と ROC 曲線も計算されます。

  • 再代入検証を使用した場合、スコアはすべての学習データに基づく再代入精度、予測は再代入予測です。

[モデル]ペインにおける性能の

分类学习モデル学习させるとモデル全体的な精度パーセント単位で[モデル]ペインに表示されるので、どれが最適か確認します。[精度(検证)]が最高のスコアは、ボックスで強調表示されます。このスコアが検証精度になります。検証精度のスコアにより、学習データと比較した新しいデータに対するモデルの性能を推定できます。このスコアは、最適なモデルの選択に役立ちます。

  • 交差検証の場合、スコアは検定用に確保した分以外のすべての観測値についての精度であり、ホールドアウト (検証) 分割に含まれていた各観測値が対象になります。

  • ホールドアウト场合,はホールドアウトれ観测値についてのスコアです。

  • 再代の,スコアはすべて学习観测値に対する再精度です。

スコアがも目标目标最适なモデルことことが。。全体全体的的ななな精度精度ががにに低い低いモデルモデルがが目标にに最适最适なななな分类分类分类分类可能可能性性性性性な场合ますデータ收集コストかかったりな予测子のいくつかを除外除外することことられられられ

各クラス器性能を调べるに混同行列を确认し。

モデルメトリクスのと比较

モデル メトリクスをモデルの[概要]タブに,のメトリクス使用しモデルのと比较を行うことができます。[学习]のメトリクスは検証セットに対して計算されます。[テスト結果]のメトリクス(表示される場合)は,インポートした検定セットに対して計算されます。詳細については,検定セットモデルの性能评価评価を参照しください。

示例模型摘要选项卡

モデル メトリクス

メトリクス 说明 ヒント
精度 正しく分类れた観测比率比率 より大きい精度値を探します。
総コスト 総误分类コスト より小さい総コスト値を探します。精度値が大きいままであることを確認します。

さまざまなに基づいモデル并べ替えることができ。メトリクス选択してモデルモデルを并べ替える并べ替える,,,[モデル]ペインの上部ある[并べ替え]リストを使用ます。

[モデル]ペインにれいる不要モデル削除もます。削除するモデルを选択选択してて右上右上右上[選択したモデルの削除]ボタンをクリックか,[分类]タブの[モデル]セクションで[削除]ボタンをする,モデル右クリックして[削除]を选択し。[モデル]ペインに最後に残ったモデルは削除できません。

分类器ののプロット

散布図し分类器结果确认しますモデルの散布図図を表示表示するに[モデル]ペインでモデルを選択します。[分类]タブの[プロット]セクションでをしてギャラリーを,,[検证]グループの[散布]をクリックし。分类器に学習をさせた後では、散布図の表示がデータからモデル予測に切り替わります。ホールドアウト検証または交差検証を使用している場合、これらの予測はホールドアウトされた (検証) 観測値に対する予測です。つまり、ソフトウェアでは、対応する観測値を使用せずに学習させたモデルを使用して各予測値を取得します。

結果を調べるには、右にあるコントロールを使用します。次が可能です。

  • モデル予测するかのみをプロットか选択选択します。

  • [モデル予測]のボックス使用て,结果またはない结果表示または非表示にに。。。

  • [予測子][X][y]のリスト使用,プロットする特徴を选択します。

  • [表示]のチェック使用てのクラス表示非にするすることにより,结果をクラスクラス别别に可视化化

  • プロットしのスタック顺番を変更に,,,[クラス]でクラスを選択してから[最前面]をクリックし。

  • ズームやアウトまたはプロット移动を行います。ズームはは,,散布散布図上図上図上ににマウスを合わせ合わせ,,プロットプロットのの右右上上隅隅にに表示表示表示表示されるバーのののの

Scatter plot of the Fisher iris data. Correctly classified points are marked with an O. Incorrectly classified points are marked with an X.

散布図特徴量の调查も参照しください。

アプリでし散布ををにににするについては,,分类学习器アプリのプロットのエクスポートを参照しください。

混同行列クラスごとのチェックチェック

現在選択している分類器の各クラスにおける性能を調べるには、混同行列プロットを使用します。分類モデルに学習させた後、そのモデルの混同行列がアプリで自動的に開きます。"すべて" のモデルに学習させた場合は、最初のモデルの混同行列のみが開きます。別のモデルの混同行列を表示するには、[モデル]ペインでモデルを選択します。[分类]タブの[プロット]セクションでをしてギャラリーを,,[検证]グループの[混同(検证)]をクリック。行列は,がには机能なかっなかった领域を特定特定するするますますます

を开く真のが行に予测したクラス列列ににに表示表示さささされれます。。ホールドホールドアウト検证検证検证検证またはまたはまたはまたは交差交差検证検证をを使用使用使用使用ししししししてててに使用ます対角线対角线のセルに,,真とと予测予测ししたたたクラスクラスががししたたことことがが示されれますます。。。。これらこれらこれらこれらののセルセルセルセルセル値が分类さたことになります。

既定のは各セルに観测数が示され。。

クラスごとに分類器がどのように機能したかを調べるには、[プロット][真陽性率 (TPR), 偽陰性率 (FNR)]tprは选択はは真のごと正しく正しくれれたた観测観测値値値値ですですですですです割合割合割合割合はははははは真真のののクラスクラスごとごとごとごとののててててて分类分类ささ列にのごとのが示されます。

ヒント

分类器が十分に機能しなかった領域を探すには、パーセンテージが高くオレンジで表示されている対角線外のセルを確認します。パーセンテージが高くなるほど、セルの色が濃くなります。これらのオレンジのセルでは、真のクラスと予測したクラスが一致していません。データ点は誤分類されています。

Confusion matrix assessing a model that predicts the country of origin for cars in the carbig data set

この例では卡比格5 5行目先头先头先头からからから行目行目行目は真ののがクラスクラスクラスクラスのののののののの自动自动车车车がががすべてされれててていいいますます。。各列各列各列にににははははは,したクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラスクラス正しく分类てので,クラスで分类さた点の真阳性率は[77.2%]であることが[TPR]列の青のセルに示されています。

日本日本の车の行は误分类误分类ささおりおりおりおりおり,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,のの自动自动自动自动自动ががががががががががががが德国5.1%,が,,,,,,,,,おりおりおりおりおりおりおりおりおりおりおりおりおりおりおりおり点の伪阴率は[22.8%]であることが,[FNR]列ののに示さています。

比率ではなくの(このこので车の台数)ををするはは,[プロット][観測値の数]を选択し。

偽陽性が重要な分類問題の場合、(真のクラスではなく) 予測クラスごとに結果をプロットして誤検出率を調査します。予測クラスごとの結果を表示するには、[プロット][阳性の予测(PPV),伪発见率(FDR)]オプションを選択します。PPV は、予測されたクラスごとの正しく分類された観測値の割合です。FDR は、予測されたクラスごとの誤って分類された観測値の割合です。このオプションを選択すると、混同行列の表の下に要約行が含まれるようになります。各クラスで正しく予測された点について陽性の予測値が青で表示され、各クラスで誤って予測された点について誤検出率がオレンジで表示されます。

关心のなるににれる误分类点がすぎると判断た场合はは,,分类分类分类器器の设定设定特徴特徴选択ををを変更変更してて

アプリでし混同行列ををににに方法については,,分类学习器アプリのプロットのエクスポートを参照しください。

ROC 曲線のチェック

モデルに学習させた後の受信者動作特性 (ROC) 曲線を表示します。[プロット]セクションでをしてギャラリーを,,[検证]グループの[ROC曲线(検证)]をクリックし。ROC 曲線は、現在の学習済み分類器で計算された分類スコアのさまざまなしきい値についての真陽性率 (TPR) と偽陽性率 (FPR) の関係を示します。

プロットのマーカーは、現在の分類器の偽陽性率と真陽性率の値を示します。たとえば、0.2 という偽陽性率は、現在の分類器が陰性クラスの観測値の 20% を誤って陽性クラスに割り当てていることを示します。0.9 という真陽性率は、現在の分類器が陽性クラスの観測値の 90% を正しく陽性クラスに割り当てていることを示します。

マルチ分类场合,アプリさまざまななを选択选択しできますますます。。。アプリアプリアプリアプリアプリででではは,,バイナリバイナリ问题问题问题问题问题がががクラスごとごとにににににににににににににに1のをて各クラスののの曲线曲线をますます问题问题问题においてにおいて,,,,,,,,,,,,,,つのつのつのつのつのが正ででで残り残り残りががが负负であるとと仮定仮定さクラスについて现在分类器性能を示します。

[曲线のの]の(ROC曲线曲线下领域,,fpr=0からfpr=1fprに対する(Tprのの)ににに。ののは分类器の全体的な品质の尺度です0から1auc auc aucのの値が分类器の高い高い高いことををを示し示しますます。。。クラスクラスとと学习済み済み済みモデルをを比较比较

詳細については,perfcurve性能曲线由perfcurve,およびROC曲线简介を参照しください。

アプリで作成した ROC 曲線プロットを Figure にエクスポートする方法については、分类学习器アプリのプロットのエクスポートを参照しください。

レイアウトの変更によるモデル プロットの比較

[分类]タブの[プロット]セクションプロット使用して,分类学习で学习せモデルモデルの结果结果ををを可视可视化ししますます。プロットプロットのレイアウトをを编成编成しし[レイアウト]ボタンの使用か,プロットをドラッグドロップか,モデルモデルプロットののタブタブのののあるあるあるあるあるあるあるあるあるある

たとえば、分類学習器で 2 つのモデルに学習させた後、次のいずれかの手順を使用して、各モデルのプロットを表示し、プロットのレイアウトを変更してプロットを比較します。

  • [プロット]セクションで,[レイアウト]をクリックし,[モデルの比較]を选択し。

  • 2つ目モデルタブをしし,つ目つ目モデルタブを右ににドラッグアンドドロップし

  • モデルプロットのにある[ドキュメントアクション]矢印をクリックし。[すべて並べて表示]オプションを选択,,,,列列のを指定し。。

    Selections for a side-by-side model comparison using the Document Actions arrow

プロットの右上にある [プロット オプションを非表示] ボタンをクリックプロットのを大きくできるにししてください。

検定セットモデルの性能评価评価

学习器にささた后,でで検定モデルモデルのの性能性能ををを评価评価できでき。。このこのプロセスプロセスによりにより,新しい新しいデータデータにおけるにおけるにおけるにおけるモデルモデルモデルモデル検证検证精度精度精度精度精度

  1. 検定データ分类器にし。,,にデータデータをインポートインポートするときにに一部一部ののデータデータををを検定検定検定検定用用((オプション)検定用のの确保を参照)。

    • MATLAB®ワークスペース内にある場合は、[分类]タブの[検定]セクションで[検定]をクリックし,[ワークスペース]を选択し。

    • 検定データが内にある场合,,[検定]セクションで[検定]をクリックし,[ファイルから]を选択ますスプレッドシート,テキストファイルコンマ区値(.csv)ファイルなどファイルをから选択选択,,[すべてのファイル]を選択して.datなど他ファイルタイプ参照します。

    [検定データのインポート] ダイアログ ボックスで、[検定データセット変数]リストからセットを选択し。。セットは,,検证ののためためにににインポートインポートし予测子予测子とと同じ同じ変数変数をもたもたなければばなりません。。応答におけるクラスサブセットなければなりませ。。

  2. 検定セットを计算し。。

    • 単一のモデルの検定メトリクスを計算するには、[モデル]ペインで学習済みモデルを選択します。[分类]タブの[検定]セクションで[すべて検定]をクリックし,[選択項目を検定]を选択し。

    • すべてのモデルのメトリクスを计算に,,,[検定]セクションで[すべて検定]をクリックし,[すべて検定]を选択し。

    学习データデータをデータセット(検定は)でででさせた各ののセットセットの性能性能性能がが

  3. 検証精度と検定精度を比較します。

    モデルの[概要]タブの[学习]セクションと[テスト結果]セクションに、それぞれ検証メトリクスと検定メトリクスが表示されます。検証精度によって検定精度が適切に推定されるかどうかを確認できます。

    プロットを使用した検定結果の可視化もできます。

    • 混同行列表示します。[分类]タブの[プロット]セクションでをしてギャラリーを,,[テスト結果]グループの[混同(検定)]をクリックし。

    • ROC 曲線を表示します。[プロット]セクションでをしてギャラリーを,,[テスト結果]グループの[ROC 曲線 (検定)]をクリックし。

例については,分类学习器におけるセット使用した器の性能チェックを参照しください。ハイパーパラメーターの最適化ワークフローで検定セット メトリクスを使用する例については、分类学习器ハイパラメーターの最适化した分类器学习学习を参照しください。

関連するトピック