主要内容

このページの翻訳は最新ではありません。ここをクリックして,英語の最新版を参照してください。

MapReduce

メモリに収まらないデータセットを解析するプログラミング手法

mapreduceは,コンピューターのメモリに収まらない大きなデータセットの解析に適したプログラミング手法です。数据存储を使用してデータを小さなチャンクで処理するこの手法は,データの書式設定や前処理となる計算を行う地图フェーズと,地图フェーズからのすべての結果を集約する减少フェーズから構成されています。詳細は,MapReduce入門を参照してください。

他の製品でのmapreduceの使用の詳細については,その他の製品を使用したMapReduceの高速化と展開を参照してください。

関数

すべて展開する

mapreduce メモリに収まらないデータセットを解析するプログラミング手法
数据存储 データの大規模な集合用のデータストアを作成
添加 キーと値の1つのペアをKeyValueStoreに追加
addmulti キーと値の複数のペアをKeyValueStoreに追加
hasnext ValueIteratorに1つ以上の使用可能な値があるかどうかを判別
getnext ValueIteratorからの次の値の取得
mapreduce mapreduceまたは高配列の実行環境の定義
gcmr 現在のmapreduce構成の取得

オブジェクト

KeyValueStore キーと値のペアを保存してmapreduceで使用
ValueIterator mapreduceと使用する中間値における反復子

トピック

MapReduce入門

MapReduceプログラミング手法について学習し,例の計算を実行します。

地图関数の作成

mapreduceアルゴリズムで使用する地图関数を作成します。

减少関数の作成

mapreduceアルゴリズムで使用する减少関数を作成する。

MapReduceでの効果的なアルゴリズムの構築

サンプルファイルmapreduceの概要。

その他の製品を使用したMapReduceの高速化と展開

mapreduceアルゴリズムを高速化し共有するための他製品の機能。

MapReduceを使用した最大値の検索

次の例では,mapreduceを使用してデータセット内の単独の変数の最大値を検索する方法を示します。

MapReduceによる平均値の計算

この例では,mapreduceを使用してデータセット内で単一の変数の平均を計算する方法を示します。

MapReduceを使用するヒストグラムの作成

次の例は,大規模なデータセット内のパターンを,すべての観測値を同時にメモリに読み込まずに可視化する方法を示します。

MapReduceを使用するグループごとの平均の計算

この例では,mapreduceを使用してデータセット内のグループごとの平均を計算する方法を示します。

MapReduceを使用する簡単なデータのサブセット化

次の例では,大規模なデータセットのサブセットを抽出する方法を示します。

MapReduceを使用して共分散および関連量を計算する

この例では,mapreduceを使用して大規模なデータセット内のいくつかの変数の平均と共分散を計算する方法を示します。

MapReduceを使用してグループごとの要約統計を計算する

この例では,mapreduceを使用して,グループごとに整理された要約統計を計算する方法を示します。

MapReduceを使用するロジスティック回帰モデルの近似

この例では,mapreduceを使用して,単一の予測子を使用して簡単なロジスティック回帰を実行する方法を示します。

MapReduceを使用するQR (TSQR)行高列の因数分解

この例では,mapreduceを使用して行高列のQR (TSQR)の因数分解を行う方法を示します。

MapReduceによるイメージの最大平均HSVの計算

この例では,ImageDatastoremapreduceを使用して,イメージコレクション内で色相,彩度および明度の最大値をもつイメージを検出する方法を説明します。

トラブルシューティング

MapReduceアルゴリズムのデバッグ

この例では,簡単なサンプルファイルMaxMapReduceExample.mを使用して,MATLAB®mapreduceアルゴリズムをデバッグする方法を説明します。デバッグにより,mapreduce実行の異なるフェーズ間のデータの移動に従い,すべての中間変数の状態を検査できます。

注目の例