异常検知

异常検知とは

异常検知(异常检测)とは,データの中から异常状态,すなわち通常のパターンとは挙」」」」」ますアプリケーションや状况,外交れ(异物),変化点(改变点),逸脱(偏差),误动动(故障),侵入(入侵),诈欺(欺诈)などなど呼ばます。

异常検知には専门家の目视による古典的な方法も有效ですが,ここここは多くのからなる复雑なから,自动でかつからでも异常をでかつにに机械学习ををたた统计をご绍介します。

データ解析を応用した異常検知の代表的な利点

  • 诊断(诊断):异常を自动で诊断ことにより人的工人を削减。
  • 予知(预测):現在の状態から将来的な異常を検知することにより,突然の異常による人的,経済的ロスを低減。
  • 处方(规定):将来的な异常を自动で正でするにより,稼働率·生产性性向上

心电图のの异常:keogh,E.,林,J。和福,A .: Hot Sax:有效地找到最不寻常的时间序列子序列,在第五届IEEE国际数据挖掘国际会议上,ICDM 05,PP.226-233。

异常検知の活使用事例

センサーやネットワーク・計算機の飛躍的な発展によりビッグデータの活活が盛んになる,异常検知検知の応先はカメラ动词からます侵入者,身近な例ですクレジットカードの不用使用検知も异常のの例。も医疗(例:喘息喘息の作品の)や金融(例:ヘッジファンドの不正検出)分享到で事例もれ,产业机械の稼働や制造过の画像によるによる异常検出,构造物の监视に検出异常検知の适応が进んできいい

また异常の有效をデータから(诊断)することから一歩进,异常异常予兆を検知(预期)する予知保全期间さされていい(参考:予知保全)。

异常検知の解析技术

単纯な1次数からの検知ならば统计学学でで古くからから研研からからから手手手もももももがががががのがなるとなの异常検知なるなるシステムの検知がなるとししがが発挥ししし発挥しますしますしますししししししししししししししししししししし

例えばデータの分布を正式分布ににているてとして,标准偏差の数号超えると异常値判断する超えると异常と判断する超えるや値と判断するするや,または箱ひげ図を描き描き分数数(25パーセンタイル値や75パーセンタイル値)を利用して上下限制限制を决定する直感など阈値を古典な异常検知以前设ける古典异常検知は以前活さた。
ただ,それぞれデータが仮定された布に従っていないは検知ののの确性に疑问が残りますしはが复雑するすることではは定の変変だけだけに现れるものでなく复复ののののののわせわせわせはじめて异常検出ものであるであるも考えらます。そのそのな状况で,変数がてもに异常をえることがに异常えるえるえるがが械械习のの点点

机械学习にはは2つの流派が存存し,1つは用意れた学习データををて学习器材教师あり学习。もう一方はデータの特性グループグループグループ教师なし学习です。教师あり学习は过去に生物した异常元に习させるため,类似の异常を度検出できる点がありますが検出常·异常のが事前常常たラベルデータ事前つけた习习デー​​タをするが习を。异常の発生物频度低く习习がデータをはことが习が向いて教师教师习习はてます教师なし习はてます。逸脱逸脱しいるを,アルゴリズムアルゴリズム数码化し异常を判断します。

异常検出によく使使使れる教师なし学习习アルゴリズムPCA(主成分分析,主成分析)クラスタリングk最近傍法などが挙げられます。他にもサポートベクターマシン(SVM:支持金宝app向量机)をレアイベント検出に応応た1级svmも有效なアルゴリズムです。

心電図の部分時系列に対してk最近傍法を用いて異常なパターンを検出。ここで部分時系列は時系列データをスライド窓に沿って切り出したベクトルデータを示します。Lin J., Keogh E., Fu A.: HOT SAX: efficient Finding Most Unusual Time Series Subsequence, Proceedings of the Proceedings of the Fifth IEEE International Conference on Data Mining, ICDM 05, pp.226-233。

类SVMによりデータの異常度を等高線図で表示した例。右端の2点が異常なデータ点。

MATLAB环境を活活用した异常検知システムの构筑

异常検知のシステムを実现実现でで,开放の初初段阶から装配又一次さた発环境から検知にとますの选定にに选定选定,そしてシステムへの装配にに选定行程を效率よく行うことが出渊。

例えば产业机器の远隔监视システムを构筑する当たって,センサーデータは様々な保存形式保存れてているいる,非构造データデータであるも考えられられられ。使するアルゴリズムのににますますするの选定にに。�

また试行错误后,完成したモデルサーバー上や一般的な它システムにに开し,ユーザーがウェブ経由単単机のをできるようシステム构筑远隔监视には必要になりますますなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなりなり

matlabアプリケーションをデスクトップ,web,およびおよびシステムに装。

MATLABではそれぞれの开启フェーズに最适な环境をごします。

データインポート

马铃薯®はは様々なファイルファイル形式のファイルに対応,Database Toolbox™をを活しデータとmatlabを连携し,ファイルを介さずにデータデータすること可にますなりなりなり。

アルゴリズム开开

统计和机器学习工具箱™深度学习工具箱™で套装済み済み机构学院习アルゴリズムを迅速に検讨することができ,开放プロセスを短缩し。また,OuthoMetrics Toolbox™はarimax / garchなど,より高度な时系列モデル构筑サポートします。

エンタープライズシステムへの统合并

MATLAB编译器SDK™およびMATLAB生产服务器™使用してmatlabで开放したアルゴリズム,プログラムプログラム书​​籍直すことなくサーバー环境に展展展

参考:予测モデリング