このページ最新ではありませ。をクリックし,英语のの最新版版を参照参照し。
メモリにないセットを解析する手法手法
MapReduce
をデバッグ,キーと値ペアの异なるフェーズででに移动移动移动するするするかかかかをを确认ののののはは有益有益有益有益有益有益有益ななななことことですです。。。データデータデータのの移动移动をににににににははははははははは设定し。ブレークポイントはMapReduce
の実行停止して,KeyValueStore
または价值Iterator
のようするの现在状态をできるようします。详细については,MapReduceアルゴリズムのデバッグを参照しください。
任意のプラットフォーム上でMapReduce
のパフォーマンスを最適化するには、以下の推奨事項を実装してください。
地图关数への呼び出し回数を最小限に抑えます。一番簡単な方法は、入力データ ストアの读取尺寸
プロパティのをすること。その结果,MapReduce
が map 関数に渡すデータのブロック サイズが大きくなり、データストアの最後に到達するまでの読み取り回数が少なくなります。
地图关数と reduce 関数の間で受け渡される中間データの量を減らします。たとえば、map 関数内に独特
を使用,したキー组み合わせるますこの手法ののは,MapReduceを使用するグループごとの平均の計算を参照しください。