主要内容

このペ,ジの翻訳は最新ではありません。ここをクリックして,英語の最新版を参照してください。

高大配列およびmapreduce

MATLAB®の高配列とデ,タストア,またはmapreduceを火花®クラスタ,Hadoop®クラスタ,および並列プ,ルで使用して,ビッグデ,タセットを並列解析する。

并行计算工具箱™を使用すると,デスクトップ上の並列プールを使って高配列の式を並列で評価できます。高配列を使用すると,マシンのメモリに収まらないビッグデータアプリケーションを実行できます。また,并行计算工具箱を使用して,MATLAB并行服务器クラスター上で実行される並列プールに接続することで,高配列の処理をスケールアップすることもできます。あるいは,MATLAB并行服务器を実行するSpark対応Hadoopクラスタ,を使用できます。詳細にいては,高配列およびデ,タストアを使用するビッグデ,タのワ,クフロ,を参照してください。

関数

すべて展開する

高大配列の作成
数据存储 デ,タの大規模な集合用のデ,タストアを作成
mapreduce メモリに収まらないデ,タセットを解析するプログラミング手法
mapreduce Mapreduceおよびtall配列の並列実行環境の定義
分区 デ,タストアを分割する
numpartitions デ,タストアの区画数
parpool クラスタ,での並列プ,ルの作成
gcp 現在の並列プ,ルの取得

クラス

すべて展開する

平行的。池 ワ,カ,の並列プ,ル
parallel.cluster.Hadoop mapreducer, mapreduceおよびtall配列用のHadoopクラスタ

例および操作のヒント

高配列およびデ,タストアを使用するビッグデ,タのワ,クフロ,

ビッグデタセットの解析にtall配列を使用する一般的なワクフロにいて学習する。

並列プルでの高配列の使用

并行计算工具箱およびMATLAB并行服务器での高配列を理解する。

クラウドでのビッグデ,タの処理

この例では,クラウド上の大規模データセットにアクセスし,ビッグデータ向けのMATLABの機能を使用してクラウドクラスター上で処理する方法を説明します。

Spark対応Hadoopクラスタ,でのtall配列の使用

MATLABコードを変更せずに,火花クラスター上で高表を作成し,使用する。

並列プ,ル上でのmapreduceの実行

并行计算工具箱を使用して,ビッグデ,タの高度な解析にmapreduceを試す。

Hadoopクラスタ,上でのmapreduceの実行

Hadoopクラスタ,上でのビッグデ,タの高度な解析に使用するmapreduceにいて学習する。

デ,タストアの並列分割

分区を使用して,数据存储を小部分に分割する。

概念

並列プ,ルでのコ,ドの実行

並列プルの起動と終了,プルのサズ,およびクラスタの選択にいて学習する。

並列基本設定の指定

基本設定を指定して自動的に並列プ,ルを作成する。

クラスタの検出とクラスタプロファルの使用

クラスタープロファイルの取り扱い方法を調べて,Amazon EC2上で実行中のクラウドクラスターを検出する。

注目の例